Recomendo darem uma olhada em Tailscale e Netbird, são redes mesh que usam uma conexão de saída do servidor via Wireguard e cuidam de autenticação e autorização.

Resumindo dá para fechar a porta 22 do ssh por completo, deixar as portas de entrada apenas que realmente precise como 80 e 443, essas ferramentas deixam um programa rodando dentro do servidor se conectando de dentro pra fora permitindo fazer o ssh via vpn