Falae cara blza? Respondendo as suas perguntas.

Nos estamos treinando mesmo um AI, porem isso tem um custo de processamento bem pesado, o que fizemos foi, alugar um GPU A100 por algumas horas na vast.ai para poder acelerar o treinamento inicial. O problema aqui foi que tem um custo por hora, algo em torno de $1.20, o que acaba inviabilizando o treinamento continuo por questoes de custo. Apos isso estamos utilizando RAG para ser mais preciso. Nao eh o ideial, mas considerando o hardware que temos vs performance foi a melhor escolha. A ideia eh de alguma forma conseguir sponsors que topem investir nos custos desse processamento.

A RTX esta instalada em um servidor xeon local. Justamente, o custo em muitos providers acaba sendo por hora, entao no nosso caso resolvemos comprar uma GPU e pagar uma vez, sendo que dali pra frente, so gastamos com energia. Claro que perdemos o poder de escala, mas tendo em vista que esse tipo de processamento ainda eh caro, para nos foi a melhor solucao em termos de custo beneficio.

Sim a nossa GPU nao roda modelos tao abrangentes, estamos limitados aos 13B, mas a nossa ideia eh poder tirar o maximo de desenpenho uma vez que estamos trabalhando em otimizacao, mas claro, isso sempre sera um limitante. Mas seguimos esse caminho para nao ter surpresas na fatura de um provedor cloud da vida.

Valeu, acredito que seja um projeto que possa ajudar os devs nao ficarem perdendo tempo na hora de buscar as vagas, sem contar que a medida que AI evolui podemos melhorar a assertividade de vagas fantasmas e alertar a comunidade.