Pitch: Pense num trem carniça: RAG para processos jurídicos.
Alguém já se desafiou para conseguir rodar uma LM local com o mínimo de GB disponível?
Eu desenvolvi uma aplicação (ainda embrionária) de linha de comando (CLI) open-source voltada para o mercado jurídico, projetada especificamente para oferecer 100% de privacidade, total isolamento de rede (100% offline e air-gapped) usando LLM local (ollama) focado em baixo consumo de RAM.
O objetivo é partir para uma interface de chat, mas o MVP roda perfeitamente em CLI. Mas a quantidade de desfaios que encontrei foi MUUUUUITO maior que qualquer accesso a API da OpenRouter, OpenCode ou qualquer serviço API de LLM.
Os tradeoffs e as renúncias me esmagaram!
Motivo? Fazer rag em 1 PDF com assunto corrido diverso é fácil.
Fui fazer RAG com 1000 processos que são praticamente um template um do outro, onde tentei alcançar a qualidade entre chunking e embbeding até o banco de dados vetorial usando uma LLM ultra leve (que roda com menos de 4GB de RAM) foi o que pude chamar de problema.
Uma coisa é ter uma GeForce RTX 5090 ou Arc Pro B70 com 32GB de RAM ali, disponível. Outra coisa é o PC médio de usuários comuns.
Meu objetivo aqui é um experimento, não para salvar o mundo. Apenas tentar esbarrar no mínimo, no escasso para entender como poder criar aplicações usando inteligência artificial usando o mínimo da média.
Pensei em criar uma interface gráfica, com UI minimalista pensando no advogado solo, no advogado 60+ e para isso, oferecer privacidade 100% dos dados e exigir o mínimo de memmória (a média tem um notebook com 8GB) que rode com os menores modelos disponíveis.
E está funcionando. Rodando liso.
Quem precisar pode baixar no repositório.
Se alguém souber como melhorar isso, ficarei feliz!