Isso é um fato. Basta ver pessoas usando llms para fazer várias contas de somas/multiplicação etc e depois reclama "o llm alucina com coisas básicas", mas mais básico é saber q é um desperdício de tokens e energia usar llm invés de calculadora em casos assim.

O problema é quase sempre é o próprio ser humano.

Quanto a questão de janela de contexto, sim, um problema crônico, mas q tem evoluído bastante com agentes, técnicas de RAG e llms como Gemini com janelas maiores.