Conhece o Weaviate? Ele faz praticamente tudo isso numa pegada

Definir um banco de dados vetorial
Escolher um modelo de embedding (que transforma seus dados em vetores)
Decidir o algoritmo de aproximação
Converter todos os documentos em vetores, armazenando com metadados e conteúdo
A cada pergunta, converter a pergunta em vetor e buscar os vetores mais próximos
Recuperar o conteúdo, normalizar e adicionar esse contexto ao prompt
Enviar o prompt para a LLM e aguardar a resposta