Parem de usar LLM como base de dados: Como cortei custos de API e zerei a latência no Whats usando SQLite FTS5
Fala, galera! Queria trazer mais uma daquelas soluções "raiz" que me pouparam uma dor de cabeça monstra e, de quebra, uma grana violenta com a API da OpenAI/Gemini.
O Cenário:
Tenho uns agentes conversacionais rodando no Whats (stack clássico: Evolution API + n8n + LLMs). O sistema roda liso pra qualificar lead e tirar dúvidas.
A Dor:
Fui dar uma olhada nos logs e no tempo de resposta. O LLM demora em média uns 3 a 5 segundos pra "pensar" e devolver o texto. O pior de tudo: quando olhei o histórico, percebi que tipo 70% das mensagens dos clientes eram variações da mesma coisa. "Qual o preço?", "Onde vcs ficam?", "Atende até que horas?".
Mano, eu tava torrando token (dinheiro) e fazendo o cliente esperar 5 segundos pra IA gerar uma resposta que não exigia raciocínio nenhum, saca?
Se vc for pesquisar na bolha de IA, a solução "enterprise" pra isso é meter um Semantic Cache. A galera manda vc subir um Redis, plugar um banco vetorial (tipo Pinecone ou Qdrant), gerar embeddings da pergunta e comparar distâncias. Velho, de novo: uma burocracia absurda e cara só pra validar um micro-SaaS ou atender negócio local.
A Solução Anti-Hype: SQLite FTS5
Resolvi fazer um cache de respostas usando o bom e velho SQLite, mas ativando o FTS5 (Full-Text Search), que é um motor de busca absurdo de rápido que já vem nativo no SQLite.
O fluxo agora tá assim:
O lead manda a mensagem no Whats.
Antes de bater no n8n ou na API do LLM, um micro-script cruza a pergunta com a tabela do SQLite FTS5.
Se o banco achar uma similaridade alta com alguma pergunta que já foi respondida antes, ele já devolve a resposta do cache na hora (coisa de menos de 5 milissegundos).
Se for uma pergunta nova ou muito complexa: Aí sim vai pro LLM. Quando o LLM responde, o sistema já salva o par "Pergunta-Resposta" no banco pra próxima.
A mágica em SQL:
Pra quem nunca usou, criar uma tabela virtual de busca no SQLite é literalmente um comandinho só:
SQL
CREATE VIRTUAL TABLE cache_ia USING fts5(pergunta, resposta);
-- Na hora da busca, o script só faz isso:
SELECT resposta FROM cache_ia
WHERE pergunta MATCH 'horário funcionamento'
ORDER BY rank LIMIT 1;
O Impacto:
Latência: A sensação no Whats é que o bot digita na hora pra perguntas comuns. A fricção simplesmente some.
Custo: Minha fatura de API despencou, namoral. O LLM agora só é chamado pro que ele realmente serve: raciocinar sobre umas conversas fora do padrão, fazer negociação ou analisar um contexto mais treta.
Fica a dica pra quem tá desenvolvendo parada com IA: IA não é banco de dados, beleza?
Alguém aí já tentou fazer algo parecido pra otimizar custo de LLM em produção? Vcs costumam usar algum outro esquema de cache nas automações de vcs?