Meus 2 cents,

Que app legal - ja coloquei na lista para testar !

Vi que voce fez o fine-tunning (tem ate os datasets) - agora a pergunta de 1 milhao: qual o desempenho do modelo em CPU (sem GPU) (em tokens/seg) ?

E para fazer o fine-tunning, voce alugou uma VPS GPU ou fez localmente ?

Novamente, parabens pela iniciativa !

Saude e Sucesso !