Uso configurações similares + fail2ban a pelo menos 12 anos, servidores sempre públicos e nunca tive problemas.
Além disso para quem tem IP fixo e usa em cloud que oferece firewall na rede, sugiro liberar o acesso a porta do SSH apenas para seu IP.
Para quem não tem IP fixo, você pode fazer o mesmo, já que muitos provedores de internet demoram a forçar o rotacionamento do IP, então as vezes você precisará acessar o painel e atualizar o IP.
Você também pode fazer de forma automática a atualização, maioria das clouds tem API, então basta um script com duas requisições, uma para pegar seu IP público e outra para atualizar a regra do firewall da cloud.