Bom, ultimamente ando trabalhando muito a API do ChatGPT. Meu trabalho consiste em entregar um arquivo markdown para a LLM com tabelas extraidas de um PDF, ela deve analizar, fazer algumas relações e devolver um Json. 

Até ai, bem simples, não?!

Porém, às vezes (mais de 50% das vezes), o json de retorno da LLM é um arquivo gigantesco com mais de 1000 linhas, isso acaba fazendo com que a LLM alucine bastante. 

Por enquanto estou utilizando o gpt-4o. 

Teria alguma outra que possa me entregar um trabalho "menos alucinado"? hehe


Estava pensando em testar o Claude Sonnet.

Olá

Lembre-se, contexto é tudo.

Hoje em dia engenharia de contexto se tornou mais importante que engenharia de prompt.

É importante você ter uma especificação para seu JSON e também limites ou boundaries explícitos para impedir a LLM de fazer coisas que você não deseja.

Eu sugiro você tentar usar o Anthropic Console, que permite você testar e ir ajustando seus prompts de acordo com seus resultados.

Boa sorte!

Alucinações da LLM

Bom, ultimamente ando trabalhando muito a API do ChatGPT. Meu trabalho consiste em entregar um arquivo markdown para a LLM com tabelas extraidas de um PDF, ela deve analizar, fazer alguma...