Novo tokenizer da Anthropic faz Claude consumir mais tokens e ficar mais caro

Em testes independentes, um arquivo TypeScript de 2.888 caracteres processado pelo Claude pode gerar até 73% mais tokens em comparação aos modelos GPT-5.x da OpenAI e 32% mais do que o tokenizer anterior do próprio Claude. Com isso, o custo real do Opus 4.8 poderia chegar a cerca de 7,50 dólares por milhão de tokens de entrada e 37,50 dólares por milhão de tokens de saída, acima dos valores anunciados pela Anthropic de 5 e 25 dólares, respectivamente. O tokenizer é responsável por transformar textos em unidades de token, que é a forma como um modelo de IA interpreta a linguagem.