Curioso, pois com 4gb dá pra se usar a maioria das distros sem muitos problemas, dependendo da aplicação. Chegou a diagnosticar o uso da ram monitorando com alguma ferramenta?

Algumas otimizações que pode fazer que me vêm em mente são usar zram ou zswap, rodar versão 32 bits de apps que consumam muita ram (não sei se void linux oferece essa possibilidade) e usar compressão no sistema de arquivos com btrfs (Não reduz uso de ram, mas acelera o acesso ao disco e economiza espaço. Faz MUITA diferença em hds, e alguma dierença mesmo com ssds. Aumenta um pouco o uso de cpu, mas não costuma ser muito significativo, mesmo pra maquinas mais antigas. Acho que vale testar). Se for usar ssh mais vagabundo, talvez seja melhor usar sistema de arquivos f2fs (também permite compressao, mas nunca testei), mas de for ssd de qualidade, sugiro btrfs mesmo.

Mesmo assim, acho estranho ter bastante travamento. Que aplicações usa no dia a dia? Costumo usar máquinas com poucos recursos e não vejo tanto problema com 4gb

Ah, outra coisa é que algumas algumas distros rolling release costumam ter um kernel "gordo" e menos otimizado. Não sei se é o caso do void, pois nunca usei, mas lembro que percebi isso no arch. o sistema ocupava muita ram por padrão em comparação com outras distros.