Você sabe quanto custa uma Nvidia A100 80gb de VRAM? R$ 179.219,99 no boleto com desconto. Ou 1K/m USD no gpu-mart para um servidor com somente uma placa. Considerar também o custo da infraestrutura para a compra da placa.
Então tem que fazer muito bem a conta para definir o preço final para o cliente em relação ao volume de transações token.
Respondendo a "pelo que entendi, está "socando conteudo no con..." dentro da publicação Custo alto com IA: problema de modelo ou de implementação?
3
2
Pois é... Por isso comentei alternativas, inclusive de nao usar llm para fazer esse tipo de classificação. Também falei da opção de usar um cloud chines com sua llm de preferência. Só nao citei o "Airbnb de máquina" vast.ai que também pode ser uma opção.