Engenharia de Contexto

Por que IAs falham mesmo com um prompt perfeito?
O problema na grande maioria das vezes não é o prompt, a verdadeira causa está na má gestão do contexto.

Engenharia de contexto é como uma evolução do prompt engineering, focando na otimização das informações fornecidas à IA dentro de sua janela de contexto.

O que são tokens e janelas de contexto?

Tokens

São as unidades básicas de informação que as IAs processam, as palavras ou fragmentos de texto que são interpretados.

Pensa neles como peças de legos que a IA usa para construir tudo, podem ser palavras, fragmentos de textos e trechos de código.

Janelas de Contexto

Representam a quantidade máxima de tokens que um modelo de IA pode guarda e processar de uma só vez.

Pense na janela de contexto com a memória RAM de um computador, a memória de curto prazo da IA (STM).
Assim como a RAM se encher de mais, começa a falhar.

Engenharia de Contexto vs. Prompt Engineering

Prompt Engineering

Fornecer instruções claras para que modelos realizem uma tarefa.

Fornecer informações e ferramentas para realizar uma tarefa. Não é sobre o que se pede, é com o que a IA tem para poder trabalhar.

É como preparar a mesa do especialista, garantindo que ele tenha todas as ferramentas e referências necessárias antes de iniciar a tarefa.

O Problema do Contexto

O principal desafio é fornecer a quantidade e qualidade certas, um bom contexto é difícil.

Pouco Contexto

Leva a respostas vagas ou alucinadas. A IA não tem informações suficientes para gerar uma resposta precisa e pode gerar informações incorretas.

Muito Contexto

A IA fica incapaz de encontrar informações relevantes, superindexando padrões. O excesso de informação pode sobrecarregar o modelo, dificultando a identificação do que é realmente importante.

É como procurar uma agulha no palheiro: o excesso vira ruído e a IA começa a enxergar padrões sem relevância apenas porque ocorrem com frequência.

Contexto Ruim

Causa um envenenamento, gerando confiança em declarações incorretas em vez do treinamento. Se o contexto fornecido contém informações erradas, a IA pode priorizá-os ao invés do seu conhecimento pré-treinado, levando a saídas incorretas.

Padrões para gerenciamento de Contexto

Clareza e relevância focada:
- Seja preciso, solicitações vagas levam a respostas vagas.
- Quanto mais específico, melhores serão os resultados.
- Compartilhe somente arquivos, pastas ou trechos de código específicos que são essenciais para tarefa.
Fornecer evidências e background necessários:
- Anexe documentos de design relevantes para dar à IA uma visão geral.
- Faça referências a esquemas de banco de dados.
Guiar e delimitar os resultados:
- Crie restrições, liste requisitos, libs, padrões a serem seguidos ou evitados.
- Exemplos claros de sáidas.
Limpar/Resetar o contexto a cada nova tarefa:
- Anular histórico.
- Delimitar escopo.

Não é o prompt, é o contexto

O sucesso de uma interação com a IA depende em grande parte da qualidade e relevância das informações fornecidas, e não apenas dos prompts. Se o humano não entende o problema, a IA também não, problemas complexos exigem contexto, referências, dados, exemplos e restrições.

Da próxima vez que um assistente de IA falhar, em vez de se perguntar 'como eu posso melhorar meu prompt?', pergunte-se: 'Que informação vital eu esqueci de incluir?'