Pitch: TokenZero — de 11.396 para 4.624 tokens em um teste com logs

Em um experimento com 120 requisições fictícias de API, comparei duas mensagens destinadas à mesma tarefa de investigação de logs:

Representação	Tokens
Original	11.396
Preparada no modo Automático	4.624

A diferença foi de 6.772 tokens, ou 59,42%, usando tiktoken 0.14.0 com o200k_base.

Fiz esse teste durante o desenvolvimento do TokenZero, um projeto comercial em validação do qual sou o criador. Quero compartilhar como essa medição pode ser reproduzida e quais cuidados ela exige.

Esse resultado pertence aos arquivos deste experimento e ao tokenizador escolhido. Não estabelece uma redução universal, economia financeira ou melhora na qualidade das respostas.

O primeiro cuidado foi definir exatamente o que contar.

Se uma representação menor precisa de instruções adicionais para ser interpretada, essas instruções também entram na conta.

Por isso, cada arquivo contém a mensagem completa daquela condição: a tarefa, os dados e as orientações necessárias para ler a representação. Contar somente o trecho transformado deixaria uma parte do texto de fora.

A medição foi local, sem executar um modelo. Também não inclui mensagens de sistema, histórico de conversa ou a estrutura adicional usada por uma API.

Para reproduzir, baixe estes dois arquivos e coloque-os na mesma pasta:

• original.txt
• automatico.txt

Instale a versão usada no experimento, preferencialmente em um ambiente virtual:

python -m pip install tiktoken==0.14.0

Salve o código abaixo como contar_tokens.py, na pasta dos arquivos:

from pathlib import Path
from hashlib import sha256
from importlib.metadata import version
import tiktoken

enc = tiktoken.get_encoding("o200k_base")
contagens = {}
print(f"Tokenizador: tiktoken {version('tiktoken')} / {enc.name}")

for nome in ("original.txt", "automatico.txt"):
    dados = Path(nome).read_bytes()
    texto = dados.decode("utf-8")
    total = len(enc.encode(texto, disallowed_special=()))
    contagens[nome] = total
    print(f"{nome}: {total} tokens")
    print(f"SHA-256: {sha256(dados).hexdigest()}")

original = contagens["original.txt"]
preparado = contagens["automatico.txt"]
if original == 0:
    raise ValueError("O arquivo original precisa conter texto.")

diferenca = original - preparado
percentual = diferenca / original * 100
print(f"Reducao: {diferenca} tokens ({percentual:.2f}%)")

Execute:

python contar_tokens.py

As contagens esperadas são 11.396 e 4.624, com diferença de 59,42%. O script também imprime o SHA-256 de cada arquivo, que pode ser comparado com o registro da medição.

Um detalhe que fez diferença: as quebras de linha.

Usei read_bytes().decode("utf-8") para preservar as quebras de linha, sem aplicar strip() ou outra normalização antes da contagem.

Neste teste, os arquivos baixados preservam CRLF e a quebra final. Os botões de copiar do laboratório usam LF e removem a quebra final. Isso faz a versão automática passar de 4.624 para 4.623 tokens.

É uma diferença pequena, mas mostra por que precisamos registrar o texto exato medido. Para reproduzir os números da tabela, use os arquivos baixados.

A contagem responde apenas uma parte da avaliação.

Ela mostra o tamanho desses textos nesse tokenizador. Não mede os tokens do Claude nem o consumo completo de uma chamada de API.

Também não demonstra que a IA interpretará corretamente a representação preparada. Mesmo quando é possível reconstruir os dados, ainda é necessário verificar se a resposta distingue retentativas, identifica os pedidos afetados e sustenta as conclusões nos registros.

Estou separando a avaliação em três partes:

• Tamanho: contar o texto completo, incluindo as instruções.
• Qualidade: conferir as respostas pelos mesmos critérios nas duas condições.
• Trabalho: medir o tempo de preparação, conferência e correção até chegar a uma resposta útil.

Um contexto menor pode ser interessante, mas precisamos verificar se a interpretação exige mais correções. Este experimento ainda não responde essa questão e usa apenas um conjunto sintético.

Para quem quiser explorar o problema de investigação por trás do teste, deixei uma demo guiada do TokenZero com dados fictícios. Ela é gratuita e funciona sem instalação, conta ou chave de IA.