No benchmark de 16 mil chamadas, nos cenários em que a acurácia caiu, a confiança no meio da distribuição (entre 0,10 e 0,90) acompanhou a queda: o acerto ficou errático, entre 55% e 72%. As pontas continuaram confiáveis. No Banking77, a acurácia geral foi 76%, mas quando a confiança veio igual ou acima de 0,90, o acerto subiu para 89,9%. Por isso, no fluxo que eu descrevi, o meio vai para o Sistema 2 ou para o analista, e só as pontas entram em automação.
Respondendo a "Excelente artigo! Fiquei curioso, o que o Jev r..." dentro da publicação Jev e a ilusão do JSON mode: por que forçar LLMs como classificadores custa caro
1