Meus 2 cents,
Se voce ja tem conhecimento sobre como a IA funciona, e baseado no seu texto, acredito que teu momento eh de montar o chamado "harness".
"Harness" eh o nome que se popularizou para o conjunto de ferramentas/setup que utilizamos no uso da IA para desenvolvimento - entao nas suas buscas procure usar este termo o que deve ajudar a trazer mais conteudo especializado.
O problema que voce esta enfrentando na qualidade de codigo nao eh apenas seu - eh recorrente a partir do momento que sai do "bootstrap" do "crie um sistema" para o uso diario em manutencao.
A questao eh: LLMs nao sao deterministicos, ou seja, a cada interacao o resultado pode ser completamente diferente - e em ultima instancia, alucinacao.
O "harness" (ambiente) vem justamente para criar "guardrails" e diretivas que tornem a interacao com o LLM o mais controlada e deterministica possivel: o que eh um desafio e tanto, uma vez que o LLM privilegia fluencia no texto.
So que o "harness" ainda eh uma disciplina em desenvolvimento - cada guru, DEV ou palpiteiro tem a sua "formula magica", lamento.
Meu "harness" magico se compoe de:
1. Todo desenvolvimento tem de ser feito em uma sandbox (p.ex. devcontainer): isso evita que um agente mau comportado faca um "rm -f /" (ou outras coisas) na minha maquina. Reforco: IA atuando via IDEs ou Agentes sao conhecidos por serem imprevisiveis, entao NAO DE ACESSO A ELES A MATERIAL DE PRODUCAO OU SUA MAQUINA PESSOAL.
2. SKILLs: As SKILLs sao o "manual tecnico" para uma IA saber como fazer uma certa funcao - isso ajuda a manter a coerencia do codigo e do app (literalmente: como um determinado codigo/funcao deve ser escrito, aqui voce "escova os bits").
3. CLAUDE.md e AGENTS.md: Aqui voce define as regras que a IA deve seguir para cada interacao, p.ex., onde buscar skills e arquivos que descrevam o desenvolvimento.
4. PRD, SDD, TDD e Checklist/Task - uso da seguinte forma:
4.1. PRD: Define de modo macro quais os objetivos da aplicacao, o tipo de stack e outros dados genericos do app.
4.2. SDD (Spec Driven): defino em um diretorio as especificacoes de cada funcionalidade da app, contratos e o que mais for necessario para a IA saber como implementar algo. Quanto mais detalhado o SDD e a SKILL, menos provavel da IA "inventar moda".
4.3. TDD (testes, testes, testes): Geralmente na especificacao (SDD) aponto os testes que devem ser feitos para validar que a funcionalidade esta correta, mas podem ter testes genericos/gerais para tudo. SDD e SKILL tentam colocar a IA no caminho e os testes avaliam cada passo para garantir que nao estragou o que ja foi feito e validado.
4.4. Checklist/Task.md (roadmap): Tenho um arquivo onde indico o que deve ser feito, o que ja foi concluido e o que falta. Essencial - quando troca de LLM ou reconecta a sessao, todo o historico de contexto eh perdido, entao eh aqui que se estabelece "a ponte" para continuar o desenvolvimento.
5. OmniRoute: IA/Agentes comem tokens com farinha, entao uso o OmniRoute para criar "combos" de uso com varios providers de LLM para tornar o uso viavel. Sem ele a "cota" se esgota muito rapidamente e voce fica frustrado.
De cabeca me lembro disso - provavelmente tem algum detalhe que esqueci, mas acho que voce tem um norte aqui.
Qualquer duvida, estou a disposicao e vamos trocando ideia.
Saude e Sucesso !
Este post foi favoritado via extensão TABNEWS FAVORITOS
Tem curiosidade sobre IA ? Da uma olhada no meu LIVRO: IA PARA ENGENHEIROS