1

Pitch: Um HTTP 200 no relay de LLM não prova que o modelo não degradou

Este texto é uma republicação condensada do artigo oficial do Folkbench (eu faço parte do time). Não acrescentei taxas medidas nem nomes de relays.

Original (canonical):
https://folkbench.com/blog/how-folkbench-detects-model-degradation

Versão em inglês:
https://folkbench.com/en/blog/how-folkbench-detects-model-degradation

Rankings de modelos costumam medir o teto de capacidade em ambiente oficial. Monitores típicos de relay de API olham preço listado, latência e se o HTTP responde. Na operação, a pergunta útil é outra: quando o mesmo modelo chega por um relay de terceiros, a profundidade de raciocínio, o cumprimento de restrições e a “impressão digital” do modelo ainda batem com a API oficial direta?

O Folkbench passou a oferecer detecção de degradação no Integrity Monitor. O artigo original deixa explícito que o diagrama de atribuição é um esquema, não telemetria medida. Uma única resposta ruim, ou um percentual isolado, não prova por si só que o modelo foi trocado.

Um HTTP 200 ainda pode esconder três tipos de deriva

O relay pode continuar devolvendo HTTP 200 e, ainda assim:

  • encaminhar pedidos de um modelo topo de linha para um modelo mais barato ou um snapshot antigo, em horário de pico ou com contexto longo;
  • manter o nome do modelo e reduzir o esforço de raciocínio, ou cortar o pensamento interno no meio;
  • descartar turnos antigos da conversa ou apertar o limite de saída, o que aparece depois como restrições ignoradas e raciocínio em várias etapas quebrado.

Respostas curtas podem continuar fluentes. Um raciocínio mais curto pode até deixar a rota aparentemente mais rápida. Como a geração é estocástica, uns poucos exemplos ruins não separam variância comum de degradação sistemática. Esse ponto está no artigo anterior Did the Model Really Get Dumber?.

Dois testes manuais comuns também falham. Perguntar “qual modelo você é?” não funciona: o modelo não enxerga o proxy, e um system prompt pode fazê-lo repetir o nome que a pessoa comprou. Repetir enigmas famosos e estáticos também não funciona: esses itens costumam estar nos dados de treino, e o gateway pode devolver cache ou mandar só o tráfego de teste para um upstream limpo.

Duas sondas, calibradas na mesma janela da API oficial

As sondas de atualidades colocam linhas do tempo recentes e restrições novas nas tarefas, e mudam conforme os acontecimentos. Isso dificulta cache estático e rotas “só para teste”, e tende a expor snapshots velhos ou substitutos demais comprimidos.

As sondas de impressão digital do modelo vão além de certo/errado. Registram taxa de acordo da sonda, tokens de entrada, tokens de raciocínio (reasoning tokens), campos de fingerprint devolvidos pela API e, quando existir, o estado de cache. O exemplo qualitativo do artigo: se o esforço de raciocínio é reduzido em silêncio, o texto ainda pode parecer coerente, enquanto tokens de raciocínio e a taxa de acordo caem juntos.

Uma queda no score absoluto de um relay ainda tem mais de uma explicação. Pode ser o relay, ou uma microalteração oficial, uma flutuação curta do fornecedor, ou a taxa-base de um conjunto novo de perguntas. Por isso o Folkbench executa as mesmas sondas, na mesma janela, com chaves oficiais isoladas que não passam por relay de terceiros. A unidade de relatório é modelo × grupo de serviço, para um grupo promocional barato não ser lido como se fosse o grupo estável no mesmo domínio.

A leitura pretendida é conservadora: juntar tamanho de amostra, janelas consecutivas, estrutura de tokens e condições de teste. É um sinal público e conferível, não um veredito final.

Da auditoria à troca de rota

O Integrity Monitor fica ao lado de quatro rankings públicos — disponibilidade (incluindo “falso 200”, corte no meio do stream e falha de parse), estabilidade, latência (TTFT separado da geração sustentada) e custo de sessão — e de uma comparação lado a lado de relays. A sequência prática do artigo é: escolher um grupo específico, contrastá-lo com a linha de base oficial ao vivo, comparar exatamente esse grupo antes de pagar, e guardar uma rota reserva no cliente desktop open source Folkbench Switch (Tauri e Rust; .dmg no macOS e .exe no Windows; Claude Code, Codex, Gemini CLI, Aider, OpenCode, Kimi CLI e outros). O Switch mostra o diff de configuração e pode guardar o OAuth oficial do Codex ao mudar para uma rota de terceiros. A monitoração de degradação e de cache é recurso do site, não detecção embutida no cliente.

Quem opera relays de LLM: que sinais vocês olham, além do status HTTP, para desconfiar de degradação silenciosa?

O site pode ser navegado sem cadastro:
https://folkbench.com/?utm_source=luntan&utm_campaign=tabnews

Carregando publicação patrocinada...