Acho uma péssima ideia.
Por que usar um banco relacional? Esse seria meu primeiro questionamento. O MongoDB tem um plano gratuito que atende bem.
A AWS oferece o Lightsail (https://aws.amazon.com/pt/lightsail/pricing/), que roda Docker com ótimo preço e pelo que entendi voce tem um monólito. Você pode rodar o banco em um serviço gratuito e depois migrar para o RDS — por exemplo, o Neon (https://neon.com/pricing).
Para quem diz que a AWS é cara, discordo: o custo de manter um servidor próprio é ainda maior. Lembre que, no EC2, você é responsável por atualizar o ambiente, configurar o firewall etc.