Como detectar degradação silenciosa de modelos em relays de API

Artigo original: Lançamento da detecção de degradação do Folkbench: auditoria de relays de API com sondas de atualidade, impressões digitais e linha de base oficial
Rankings de modelos medem o teto teórico em ambiente oficial. Monitores de uptime dizem se o endpoint responde. Nem um nem outro responde à pergunta que aparece no uso real — por exemplo no Claude Code, passando por um relay de API de terceiros: a profundidade de raciocínio, a adesão a restrições e o comportamento típico daquele modelo continuam iguais aos da API oficial direta?
Conectividade aparente não garante isso. O endpoint pode devolver HTTP 200, responder um papo curto com fluência e até parecer mais rápido porque pensou menos. Este texto é uma versão condensada do método do Folkbench, com foco no raciocínio da medição. Figuras e notas completas estão no artigo original.
Por que “está no ar” não basta
Numa arquitetura intermediada, um gateway fica entre quem chama e o laboratório do modelo. Na maior parte do tempo ele só encaminha e contabiliza uso. Sob pressão de custo ou roteamento em horário de pico, porém, três formas de degradação podem aparecer sem se mostrar nas métricas de rede. São mecanismos possíveis, não uma acusação a um relay específico.
- Substituição silenciosa de modelo. O cliente pede um modelo de ponta, mas em pico ou com prompt longo a chamada vai para um modelo menor, mais barato, ou para uma versão antiga.
- Corte no orçamento de raciocínio. O nome do modelo permanece, mas o esforço de raciocínio cai ou as etapas internas são interrompidas cedo.
- Corte de contexto ou de limite de saída. Turnos anteriores são descartados ou o teto de saída é comprimido, e tarefas com várias restrições começam a falhar.
A Figura 1 do original (SVG, por isso não entra aqui) mostra exatamente isso: superfície verde não implica entrega íntegra. Troca de rota, corte de raciocínio e histórico truncado acontecem abaixo do ping.
Há ainda a aleatoriedade natural da amostragem. Como discutido em O modelo ficou mesmo mais burro?, um print isolado não separa ruído estatístico de degradação sistêmica.
Dois testes manuais comuns também falham por estrutura, não por azar:
- Perguntar qual é o modelo. O modelo não enxerga o proxy à frente. Uma instrução de sistema no gateway, ou uma frase memorizada por um modelo menor, basta para declarar qualquer nome comercial.
- Repetir enigmas clássicos. Esses problemas já aparecem em dados de treino, inclusive de modelos compactos. Prompts fixos e repetidos ainda permitem cache estático ou liberação seletiva da rota “limpa” só para a verificação.
A Figura 2 do original descreve esses dois atalhos: à esquerda, a identidade falada é imposta; à direita, o teste estático é reconhecido e desviado.
Por isso a detecção precisa de perguntas difíceis de pré-calcular e de sinais que vão além de “a resposta final parece certa”.
Duas sondas, na mesma janela
O Folkbench roda, em cada janela de avaliação, duas dimensões que se complementam. A Figura 3 do original (também omitida por ser SVG) resume a ideia: sondas de atualidade bloqueiam cache estático; sondas de impressão digital coletam concordância, tokens de entrada, tokens de raciocínio, impressão digital e checagens de cache; tudo isso é confrontado com chaves oficiais diretas isoladas.
As sondas de atualidade colocam eventos recentes e restrições novas em tarefas de vários passos, e o enunciado acompanha o calendário real. Cache pré-computado perde utilidade. Snapshots antigos tropeçam no corte de conhecimento; substitutos muito comprimidos perdem precisão ao cruzar várias condições.
As sondas de impressão digital olham hábitos de execução — restrições em cadeia, fronteiras rígidas de formato — e a telemetria que o endpoint devolve:
- concordância das sondas
- tokens de entrada e tokens de raciocínio
- impressão digital do modelo e, quando existe dado, checagem de cache
Se o esforço de raciocínio é reduzido nos bastidores, o texto ainda pode parecer polido enquanto tokens de raciocínio e concordância caem juntos. Se o tráfego muda de família de modelo, desvios de formatação e de impressão digital costumam aparecer antes de uma pergunta factual simples falhar.
Calibração com chaves oficiais diretas, no mesmo instante
Uma queda de pontuação no relay, sozinha, não diz a causa. Pode ser o intermediário. Pode ser uma atualização do provedor oficial, uma oscilação passageira, ou a taxa de acerto do próprio endpoint oficial num conjunto novo de perguntas. Sem âncora simultânea, o número absoluto convida falso positivo.
Por isso o Folkbench executa as mesmas sondas com chaves API oficiais diretas independentes, na mesma janela, sem passar por nenhum relay. O resultado oficial não é uma nota de corte fixa; é a linha de base daquele momento.
| Situação observada | Sem calibração | Com chaves oficiais diretas independentes |
|---|---|---|
| Oscilação ou ajuste do modelo oficial | Risco de atribuir ao relay uma mudança do provedor | A linha oficial acompanha o movimento e isola o ruído global |
| Base oficial estável e queda no relay | Falta referência simultânea para validar a magnitude | Concordância e tokens de raciocínio divergem com clareza da base |
| Grupos diferentes divergem no mesmo relay | Um grupo rápido mascara cortes em grupos mais baratos | Cada rota modelo × grupo é comparada à parte contra a base |
A Figura 4 do original é um esquema ilustrativo, não são dados reais medidos. No Caso A, a partir de T3, as duas linhas se deslocam juntas: variação do provedor oficial ou do conjunto de tarefas. No Caso B, a linha oficial permanece estável enquanto concordância e tokens de raciocínio recuam: desvio daquela rota modelo × grupo. Não leia as curvas como telemetria de um vendor.
O limite de interpretação importa. Como o Monitor de Integridade deixa explícito, uma única resposta ou uma porcentagem isolada não comprova troca de modelo. Amostra, janelas consecutivas, distribuição de tokens e condições de teste precisam ser lidos juntos. O que se obtém é um sinal objetivo de alerta antecipado, não um veredito.
A granularidade também é modelo × grupo de serviço, não uma média do domínio inteiro. Faixa promocional e faixa “estável / chave oficial” podem ter backends completamente diferentes. Vale medir o grupo que você pretende pagar.
Um fluxo curto, se for usar os sinais
A detecção de degradação é uma camada. O Folkbench também publica disponibilidade (incluindo payloads de “200 falso” e cortes no stream), estabilidade, latência (TTFT separado da taxa de geração) e custo por sessão, além da comparação lado a lado.
O cliente open-source Folkbench Switch (Tauri + Rust, macOS e Windows) mostra o diff de configuração antes de gravar arquivos do Claude Code, Codex, Gemini CLI, Aider, OpenCode e Kimi CLI. O monitoramento de integridade em si permanece na plataforma web; não é uma verificação local embutida no cliente.
Na prática: pré-selecione o modelo × grupo nos rankings; confira no Monitor de Integridade o alinhamento com a linha oficial ao longo de janelas consecutivas; compare exatamente o grupo que você vai usar; mantenha rota principal e reserva prontas.
Artigo original: https://folkbench.com/pt/blog/how-folkbench-detects-model-degradation?utm_source=tabnews
Repositório: https://github.com/Folkbench/folkbench