Meus 2 cents extendidos,

A resposta eh complexa, mas vamos la:

• Tenho trabalhado com LLM/RAG para sistemas cooporativos (knowdge management) onde precisa buscar informacao em milhares de documentos e produzir respostas coerentes. Fato: RAG nao eh uma questao de quantidade, mas de relevancia (a chamada "engenharia de contexto")- mesmo com janelas de contexto monstruosas, o LLM tende a produzir respostas menos precisas em alguns casos (eh meio contra-intuitivo).

• LLM nao eh inteligente, por mais que ele pareca ser. Como ele manipula linguagem muito bem, no melhor estilo Rolando Lero ou politicos profissionais - acabamos achando que por tras da estrutura bem construida tem inteligencia, e spoiler: nao tem.

• Dito isso, testei diversos sistemas de memoria auxiliar (em markdown e BD, mcp server, camadas de llM supervisora/executora) - sim, funcionam mas as vezes o LLM empaca no meio do caminho.

• O que me dei melhor eh: trabalho com a janela de contexto limitada apenas ao codigo que preciso.

• Mas uso o MCP Server context7 para trazer atualizacao especifica de codigo.

• Mantenho um arquivo com os "contract" (estruturas de dados) e "interfaces" (estrutura de funcoes) mais importantes (se for o caso, as vezes o trabalho de manter nao compensa).

Usando desta forma, tem funcionado (para minha situacao).

Comentario aleatorio: No filme "A Mosca" (1986, disponivel no disneyplus) que tem uma cena no minuto 25:00-27:00 que representa o acho que falta para o LLM sair da infancia: entender o contexto do que esta sendo produzido (contexto aqui eh "sentido" / "conhecimento" e nao apenas "informação").

Saude e Sucesso !