Meus 2 cents,

Parabens pela iniciativa !

Controlar custos com tokens de LLMs eh um dos desafios mais complexos do harness atual.

Repositorio devidamente starreado e forkeado - obrigado por compartilhar !

Por minha vez, tenho utilizado a seguinte estrategia:

1 - O AI Gateway [OmniRoute](https://github.com/diegosouzapw/OmniRoute)

Ele permite juntar contas de provedores LLM (gemini, claude, chaGPT, openrouter), criar 'combos' para uso, cotas de tokens e acompanhar o uso de um modo geral - alem de diversas funcoes extras. Eh o canivete suico para conexao LLM.

Ele tem uma opcao de usar 'RTK + Caveman' para compressao de contexto/tokens - muito util.

2 - [HEADROOM](https://www.tabnews.com.br/Oletros/headroom-reduza-o-consumo-de-tokens-em-ate-95-por-cento-comprimindo-o-contexto-antes-que-ele-chegue-ao-llm-open-source), um proxy de LLM para otimizacao de contexto para situacoes onde o OmniRoute nao pode ou nao faz exatamente o que preciso (local-first).

Existem outros pequenos ajustes de [CLAUDE.md/AGENTS.md](https://www.tabnews.com.br/Oletros/claude-md-template-de-12-regras-para-ia-nao-quebrar-seu-codigo-sim-mais-um) mas nada do outro mundo.

Saude e Sucesso !

---

Este post foi favoritado via extensão [TABNEWS FAVORITOS](https://www.tabnews.com.br/Oletros/tabnews-favoritos-agora-voce-ja-pode-favoritar-seus-posts-preferidos)

Tem curiosidade sobre IA ? Da uma olhada no meu [LIVRO: IA PARA ENGENHEIROS](https://www.tabnews.com.br/Oletros/livro-ia-para-engenheiros-um-guia-com-mais-de-500-paginas-sobre-o-mundo-da-ia-e-llms)

Meus 2 cents, Parabens pela iniciativa ! Controlar custos com tokens de LLMs eh um dos desafios mais complexos do harness atual. Repositorio devidamente starreado e forkeado - obrigado po...