Trabalho excepcional! Fiquei curioso pra saber em qual modelo você fez o fine tunning, he he he. Vejo muita gente usando LLMs gigantes pra essa tarefa, mas acredito que um modelo menor, porém específico, vai ter vantagem principalmente pelo preço baixíssimo.
2
3
Jurava que tinha escrito o nome e no final só coloquei os parametros..
Usei Qwen3 (1.7B, 4B, 8B, 14B) com https://unsloth.ai
Basicamente:
1.7B
Não performou bem apesar da velocidade incrível, então vou ver se é problema no fine-tuning ou problema mesmo da deficiência em modelos pequenos.
4B
Este performou bem, mas o contexto é de 256 o que o deixa lento, e preciso estudar mais como contornar esse contexto gigantesco.
8B
Rápido e aceitável..
14B
Lento como o 4B, porém acerta mais do que a média nos meus testes internos.