Amigo, o free tier da AWS deixa voce ter uma instância EC2 (micro), uma instância micro no RDS (PostgreSQL, MySQL ou MariaDB) de graça por um ano! Tá tudo no free tier incluído!
Sobre hospedagem do frontend, se for estático hospeda no S3 como site e usa o CloudFront com certificado SSL, tudo isso de graça incluído no free tier!
Aliás, o free tier deixa você utilizar cerca de 90% dos mais de 400 serviços da AWS de graça.
Vocês precisam ler as condições antes de sair pensando em alternativas. 😅
Pro seu MVP uma instância micro é mais que suficiente. No caso voce teria uma micro pra API e uma micro pro PostgreSQL