Parabéns pela ideia e pelo projeto!
Tentei algo parecido na empresa onde trabalho e vi de perto como um projeto de RAG pode crescer em complexidade rapidamente.
As vezes as soluções são até fáceis, porém são muitas e acabo tendo duvidas do que seria melhor de implementar.
No fim, (após mostrar o projeto funcionando localmente com visão web) ele não avançou por questões de segurança — mas foi uma ótima experiência mesmo assim.
Show demais! Muito obrigado.
Quais questões de segurança que pegaram para vocês? Pode compartilhar?
Claro!
Rodei local usando um modelo llama 7B, só que as respostas não estavam tendo tanta consistência que eu gostaria - sendo que o retorno da busca vetorial estava aceitável.
Então decidimos usar a API da OpenAI, para isso marcamos uma reunião com o setor de SI sobre fazer essas requisições para lá enviando informações da empresa. E foi aí que deu ruim.
Deu nem tempo para explicar como a OpenAI trata os dados de quem usa a API kk.