O baixo desempenho é devido as limitações da maquina, não do sistema operacional. O linux até consegue rodar em hardwares mais modestos, mas as distros prontas e comerciais que você encontra não vão ser otimizadas para o seu cenário. Se você tem requisitos específicos, vai precisar montar um sistema específico, e aí qualquer um serve, alguns só vão dar mais trabalho do que outros. Nesse caso você tem dois caminhos, pegar um pronto e fazer uma limpeza, ou pegar um pelado e montar com o que você precisa. Se for pegar um pelado eu recomendaria o Arch ou o Alpine, ambos vão te dar muito trabalho, mas vai ficar muito otimizado se souber fazer direito.