Nao cheguei a testar, mas achei muito interessante a ideia. Eu particularmente uso OpenRouter pros meus projetos em produção, e se o giga-tokens resolvesse um problema que eu tenho, eu concerteza migraria - que é a questão do TPS 

Apesar disso ser diretamente relacionado ao proprio modelo em partes, percebo que existe bastante diferença entre provedores, e pra produção além de precisar ser estável e bom, a velocidade na qual os tokens sao gerados e consumidos é fundamental pra experiência do usuario, e consequentemente pra agregar valor.

Assim como respondi ali acima agora, consegui uma melhoria muito boa na velocidade entrando em valores viaveis para competir. Critica muito bem vinda.

malvezzi,

Na minha experiência o TPS é bom mas ainda não criei métricas. Vou anotar isso nos meus TODO e em breve adiciono essa informação a página de modelos. Muito obrigado pela idéia.

Se não for te dar muito trabalho por favor teste o serviço e me dê sua opinião.

Nao cheguei a testar, mas achei muito interessante a ideia. Eu particularmente uso OpenRouter pros meus projetos em produção, e se o giga-tokens resolvesse um problema que eu tenho, eu co...