Achei interessante seus pontos e sua proposta, mas tem algo aí que não faz sentido.

Vc disse que prompt caching é irrelevante, mas isso é um erro grosseiro. Usar esse tipo de cache é justamente o que deixa viável o agentic com tool calling. Imagina toda vez pagar o valor cheio de input, sendo que poderia ser apenas uns míseros décimos de centavos? Esse ponto é extremamente crucial para esse benchmark. Aliás, recomendo ter uma comparação palpável com numeros e dados, porque só comparar o preço da API não é uma comparação real.

Pega um prompt complexo, passa para ambos, coloque os problemas, os pontos chaves e o custo em relação a entrega. Vamos ter aqui uma visão muito mais clara da comparação.

Valeu por levantar a discussão e propor sua solução.