0

Parem de usar LLM como base de dados: Como cortei custos de API e zerei a latência no Whats usando SQLite FTS5

Fala, galera! Queria trazer mais uma daquelas soluções "raiz" que me pouparam uma dor de cabeça monstra e, de quebra, uma grana violenta com a API da OpenAI/Gemini.

O Cenário:

Tenho uns agentes conversacionais rodando no Whats (stack clássico: Evolution API + n8n + LLMs). O sistema roda liso pra qualificar lead e tirar dúvidas.

A Dor:

Fui dar uma olhada nos logs e no tempo de resposta. O LLM demora em média uns 3 a 5 segundos pra "pensar" e devolver o texto. O pior de tudo: quando olhei o histórico, percebi que tipo 70% das mensagens dos clientes eram variações da mesma coisa. "Qual o preço?", "Onde vcs ficam?", "Atende até que horas?".

Mano, eu tava torrando token (dinheiro) e fazendo o cliente esperar 5 segundos pra IA gerar uma resposta que não exigia raciocínio nenhum, saca?

Se vc for pesquisar na bolha de IA, a solução "enterprise" pra isso é meter um Semantic Cache. A galera manda vc subir um Redis, plugar um banco vetorial (tipo Pinecone ou Qdrant), gerar embeddings da pergunta e comparar distâncias. Velho, de novo: uma burocracia absurda e cara só pra validar um micro-SaaS ou atender negócio local.

A Solução Anti-Hype: SQLite FTS5

Resolvi fazer um cache de respostas usando o bom e velho SQLite, mas ativando o FTS5 (Full-Text Search), que é um motor de busca absurdo de rápido que já vem nativo no SQLite.

O fluxo agora tá assim:

O lead manda a mensagem no Whats.

Antes de bater no n8n ou na API do LLM, um micro-script cruza a pergunta com a tabela do SQLite FTS5.

Se o banco achar uma similaridade alta com alguma pergunta que já foi respondida antes, ele já devolve a resposta do cache na hora (coisa de menos de 5 milissegundos).

Se for uma pergunta nova ou muito complexa: Aí sim vai pro LLM. Quando o LLM responde, o sistema já salva o par "Pergunta-Resposta" no banco pra próxima.

A mágica em SQL:

Pra quem nunca usou, criar uma tabela virtual de busca no SQLite é literalmente um comandinho só:

SQL

CREATE VIRTUAL TABLE cache_ia USING fts5(pergunta, resposta);

-- Na hora da busca, o script só faz isso:
SELECT resposta FROM cache_ia 
WHERE pergunta MATCH 'horário funcionamento' 
ORDER BY rank LIMIT 1;

O Impacto:

Latência: A sensação no Whats é que o bot digita na hora pra perguntas comuns. A fricção simplesmente some.

Custo: Minha fatura de API despencou, namoral. O LLM agora só é chamado pro que ele realmente serve: raciocinar sobre umas conversas fora do padrão, fazer negociação ou analisar um contexto mais treta.

Fica a dica pra quem tá desenvolvendo parada com IA: IA não é banco de dados, beleza?

Alguém aí já tentou fazer algo parecido pra otimizar custo de LLM em produção? Vcs costumam usar algum outro esquema de cache nas automações de vcs?

Carregando publicação patrocinada...