Pitch: Fiz sozinho uma plataforma de simulados de certificação cloud. O que os números mostraram até agora

Estou construindo o NaHero (nahero.site), uma plataforma de simulados cronometrados para certificações de cloud, em português e inglês. Faço tudo sozinho: front em Next.js, back em Spring Boot. Abaixo está o que aprendi construindo e os números até 6 de outubro de 2026.

Por que comecei

Quando estudei para minha certificação AWS, não encontrei um lugar onde desse para fazer simulados de graça. Sou dev fullstack (Java/Spring e Next.js) e estudante do IFPR, então resolvi construir o que eu queria ter usado. Comecei mês retrasado. O primeiro tweet público trouxe uns 30 usuários.

O que existe hoje

• 30 simulados de AWS, Azure e Google Cloud, do CLF e do AZ-900 até o PCA e o Workspace Admin.
• Cerca de 8.700 questões, com todos os simulados em pt e en.
• 65 questões por simulado, com o tempo limite da prova real (90 minutos no CLF, 130 no SAA) e a nota de aprovação do guia oficial.

De graça: todos os simulados, tentativas ilimitadas, nota, resultado por domínio oficial da prova e retomar uma tentativa de onde parou. O plano pago (R$10/mês ou R$90/ano, cartão via Stripe) adiciona explicação por questão, um plano de estudo gerado por IA e questões de prática no domínio em que você foi pior.

O código é aberto, sob AGPL-3.0: github.com/Rakoski/nahero-front e github.com/Rakoski/nahero-back.

Classificar 8.700 questões por domínio

O resultado por domínio só funciona se cada questão estiver marcada com o domínio oficial certo. Fiz isso com LLM: claude -p num loop, 40 questões por chamada, a lista de domínios daquele exame no prompt e a saída validada contra uma lista fixa. Foram umas 220 chamadas.

O problema apareceu quando medi a concordância entre a versão em português e a versão em inglês da mesma questão. No Workspace Admin, a primeira passada concordou em uns 73% dos casos. Ou seja, a mesma questão caía em domínios diferentes dependendo do idioma, e duas pessoas com as mesmas respostas veriam resultados por domínio diferentes.

Resolvi com duas mudanças:

1. Linhas de desambiguação por exame, adicionadas ao prompt.
2. Classificar só a versão em inglês e copiar o domínio para a versão em português.

A segunda é a mais simples: com uma única fonte, as duas versões concordam por construção.

Plano de estudo: o LLM só escreve o texto

No plano de estudo, as contas são feitas em SQL: acertos por domínio, questões erradas e notas anteriores. O modelo (DeepSeek V4.1 Flash) recebe esses números prontos e só escreve o texto: 3 prioridades e uma lista ordenada de tópicos.

A saída vem em JSON e passa por validação. Os nomes de domínio precisam bater com os que foram enviados na entrada, e não pode ter link. O plano é gerado uma vez por tentativa e fica salvo. Se a geração falha, a falha também fica salva, para o sistema não ficar tentando de novo para sempre.

Retomar uma tentativa

Uma prova de 130 minutos nem sempre cabe numa sentada só. As respostas são salvas automaticamente como rascunho, e a tentativa reabre na última questão.

O que os números mostraram

Hoje são uns 95 usuários cadastrados, cerca de 75% do Brasil. Entram uns 30 por semana, sem anúncio.

Testei Google Ads com R$100: 71 cliques, CPC entre R$0,31 e R$0,90, 11% de clique para cadastro e 1 assinante anual. Posts no LinkedIn trazem 3 vezes o que o Google Ads trouxe.

O primeiro usuário pagante veio de um anúncio, sumiu e voltou depois do e-mail de reengajamento de 7 dias. Tirou 44 de 65, assinou 36 minutos depois de ver a nota de reprovação e passou com 55 de 65 três dias depois.

Duas coisas mudaram como eu penso o produto:

1. A maioria das tentativas de CLF fica entre 23 e 47 de 65, e a aprovação é por volta de 46. Ou seja, a maioria reprova.
2. Só uns 15% dos usuários fizeram um segundo simulado na primeira semana.

Juntando as duas: a pessoa faz o simulado, reprova, vê a nota e não sabe o que fazer depois. Por isso refiz a tela de resultado em torno de "o que estudar em seguida", em vez de só mostrar a nota.

O que eu queria ouvir de vocês

Se você está estudando para alguma dessas provas, ou já passou por uma, me conta o que você esperaria ver depois de reprovar num simulado. E se alguém já fez classificação com LLM em mais de um idioma, quero saber como mediu a consistência.