1

Pitch: comecei a evoluir o meu harness com determinismo ao invés de feeling

Faz uns meses que uso o Claude Code todo dia e sempre evoluí meu harness no feeling: "acho que essa skill nunca é usada", "acho que o agente ignora essa regra", "acho que esse CLAUDE.md tá grande demais". Eu mexia, e nunca sabia se tinha melhorado ou só mudado.

Só que o Claude Code já salva o transcript de toda sessão na sua máquina, em ~/.claude/projects. Os dados pra responder isso já existe lá, só faltava interpretá-los.

Fiz o harness-ledger, um plugin que lê essas sessões, mapeia o seu harness (CLAUDE.md, skills, subagentes, comandos, hooks, MCP servers, plugins) e sugere mudanças com evidência. Cada sugestão aponta pras sessões que a justificam.

O que ele faz

  • acha peça do harness que existe mas nunca foi usada
  • agrupa as correções que você repete em sessões diferentes (corrigiu o mesmo erro em duas sessões? provavelmente falta uma regra)
  • acha passo manual que você manda o agente repetir e que devia virar script
  • mostra quanto cada sugestão custa em tempo e em token
  • depois que você aplica uma mudança, compara antes e depois pra ver se ajudou

Uma decisão que tomei

Os números (tempo, token, custo) vêm de um script em Node, não do modelo. É essa parte que é determinística: a mesma sessão dá sempre o mesmo número. A skill só julga e escreve a sugestão, e esse julgamento continua sendo de um modelo, então pode errar. Modelo erra conta com facilidade, por isso separei as duas coisas. Quando o script não tem certeza de um número, ele marca como parcial e diz o motivo.

O script roda localmente para evitar problemas de segurança. Além disso, nada no harness é alterado sem você confirmar.

Aprendizados que tive usando no meu próprio harness

Um problema que eu nunca via. Em toda sessão, o Claude contornava um erro no setup do ambiente. Como isso rodava num subagente, eu não via nada na sessão principal, só o resultado final.

Comandos que viraram um script. O Claude chamava vários comandos de terminal separados pra fazer uma única tarefa, e cada chamada somava latência e custo. Juntei tudo num script só, que resolve de uma vez e roda sempre do mesmo jeito.

Limites

  • só funciona com Claude Code por enquanto (Codex e Cursor estão no roadmap)
  • é novo, tem poucos dias de uso real, e as regras de sugestão ainda estão sendo ajustadas
  • o script conta, mas o julgamento é do modelo, então roda melhor num modelo de raciocínio mais potente

Como usar

/plugin marketplace add guilhermebkel/harness-ledger
/plugin install harness-ledger@guilhermebkel
/harness-ledger:audit-harness

Repo: https://github.com/guilhermebkel/harness-ledger

Se você usa Claude Code há um tempo, queria muito saber o que o relatório achou no seu harness, principalmente o que ele errou. Dá pra reportar sem mandar nada da sessão: ele monta um link de issue só com nomes e contagens, e quem abre e envia é você.

Carregando publicação patrocinada...