Eu tenho exatamente o mesmo projeto com as mesmas base, a diferença que fiz com python FASTAPI e Duckdb e de quebra coloquei wren.ai para gerar automagicamente as condultas SQL no duckdb para mim fazendo uma pergunta simples, como, " Liste as empresas...

Eu uso para meus projetos Aws S3 salvo em parquet e insert as update no ducbdb para facilitar o uso de sql no marimo python. Com isso consigo gerar analises e dashboards muito legais e ainda posso aplicar um modelo LLM em cima dos dados para analise co...

Sim precisa indexar isso ...eu fiz um script em python que já indexa no duckdb. Talvez isso te ajude. Só não sei como te enviar kkkk

Eu trocaria talvez por duckdb porque voce consegue aproveitar a feature de vectordb e com isso o RAG

laralves