Você não pede uma LLM para fazer conta. E não pede uma calculadora para resumir texto. Não temos que aceitar o contrário. Só temos que entender para que serve cada ferramenta.

A LLM (e nem falo da IA de modo geral) virou um santo graal para todo tipo de problema. Ela simlesmente não é uma solução para todo tipo de problema. Atividades que podem ser resolvidas através de lógica booleana não deveriam ser delegadas à um modelo probabilístico. Mas as pessoas estão insistindo que ela vai conseguir seguir regras de sim/não com base em prompts...

E realmente, eu também tive aqui minha primeira grande desilusão, pois não só ela não segue regras de sim/não, como sua qualidade degrada "exponencialmente" a medida que o contexto aumenta.