Como resolvi a "alucinação matemática" das LLMs interceptando a AST do Python (Projeto Open Source)

Fala pessoal. Quero compartilhar um projeto open-source que venho desenvolvendo para resolver um problema clássico de quem tenta usar IA para processamento de dados duros: modelos probabilísticos (LLMs) são péssimos em matemática exata.

Como as LLMs preveem tokens com base em probabilidade, elas frequentemente alucinam contas simples. Se você jogar uma multiplicação grande, elas vão "adivinhar" o resultado em vez de calcular. Para resolver isso sem gastar rios de dinheiro com APIs gringas (OpenAI/Anthropic), eu construí o NanoMythos.

O NanoMythos é uma infraestrutura experimental rodando 100% local (Edge Computing) que junta uma micro-LLM com um solver determinístico.

Como funciona a arquitetura por debaixo do capô: Em vez de deixar a IA "tentar" adivinhar o cálculo, eu acoplei um parser que intercepta a intenção matemática na Árvore de Sintaxe Abstrata (AST) do Python.

A LLM recebe o prompt e faz o "reasoning" (o entendimento do problema).
Antes da IA tentar cuspir a resposta matemática, a camada de rede extrai a equação.
O solver determinístico (Python nativo) executa o cálculo matematicamente perfeito direto no metal.

A LLM recebe o resultado e formula a resposta final.

O resultado: Temos 100% de acurácia matemática rodando em hardware comum (notebook), latência baixíssima, e zero dependência de nuvem. Se você desligar a internet, o modelo continua raciocinando e calculando localmente.

Todo o projeto foi construído com TDD rigoroso (pytest) para garantir que as funções de interceptação não falhem. O repositório está aberto e contém as instruções de como inicializar o banco de dados (SQLite local) e as dependências (requirements.txt).

Queria convidar quem curte arquitetura de software, LLMs locais e Edge Computing para dar uma olhada, clonar e testar na própria máquina. Toda crítica de código ou PR será muito bem-vinda!

🔗 Link do Repositório (GitHub): https://github.com/gbatista-esalq/NanoMythos