tenho diversos clientes em setups parecidos, rodando na maquina grátis da oracle cloud.
Em uma mesma maquina rodam front, back, serviços e bancos de 3, 4 clientes diferentes
no meu servidor mais lotado tenho quase 40 containers na mesma VPS.
não, não é uma má ideia
apenas defina limites de memória e CPU para cada uma, um limite que não faça a aplicação passar fome e não consuma todos os recursos sozinha.
e a API na AWS, que oferece 12 meses de uso free.
O problema é esse, a aws oferece uma maquina que é quase uma mixaria, com tão pouco recurso fica difícil manter tantos containers.
a migração do banco para o RDS
tenho bancos relativamente grandes no docker e nunca tive problema, se vc precisar migrar pra RDS com certeza vc vai ter que tiver contratados para trabalhar para você