Pitch: comecei a evoluir o meu harness com determinismo ao invés de feeling
Faz uns meses que uso o Claude Code todo dia e sempre evoluí meu harness no feeling: "acho que essa skill nunca é usada", "acho que o agente ignora essa regra", "acho que esse CLAUDE.md tá grande demais". Eu mexia, e nunca sabia se tinha melhorado ou só mudado.
Só que o Claude Code já salva o transcript de toda sessão na sua máquina, em ~/.claude/projects. Os dados pra responder isso já existe lá, só faltava interpretá-los.
Fiz o harness-ledger, um plugin que lê essas sessões, mapeia o seu harness (CLAUDE.md, skills, subagentes, comandos, hooks, MCP servers, plugins) e sugere mudanças com evidência. Cada sugestão aponta pras sessões que a justificam.
O que ele faz
- acha peça do harness que existe mas nunca foi usada
- agrupa as correções que você repete em sessões diferentes (corrigiu o mesmo erro em duas sessões? provavelmente falta uma regra)
- acha passo manual que você manda o agente repetir e que devia virar script
- mostra quanto cada sugestão custa em tempo e em token
- depois que você aplica uma mudança, compara antes e depois pra ver se ajudou
Uma decisão que tomei
Os números (tempo, token, custo) vêm de um script em Node, não do modelo. É essa parte que é determinística: a mesma sessão dá sempre o mesmo número. A skill só julga e escreve a sugestão, e esse julgamento continua sendo de um modelo, então pode errar. Modelo erra conta com facilidade, por isso separei as duas coisas. Quando o script não tem certeza de um número, ele marca como parcial e diz o motivo.
O script roda localmente para evitar problemas de segurança. Além disso, nada no harness é alterado sem você confirmar.
Aprendizados que tive usando no meu próprio harness
Um problema que eu nunca via. Em toda sessão, o Claude contornava um erro no setup do ambiente. Como isso rodava num subagente, eu não via nada na sessão principal, só o resultado final.
Comandos que viraram um script. O Claude chamava vários comandos de terminal separados pra fazer uma única tarefa, e cada chamada somava latência e custo. Juntei tudo num script só, que resolve de uma vez e roda sempre do mesmo jeito.
Limites
- só funciona com Claude Code por enquanto (Codex e Cursor estão no roadmap)
- é novo, tem poucos dias de uso real, e as regras de sugestão ainda estão sendo ajustadas
- o script conta, mas o julgamento é do modelo, então roda melhor num modelo de raciocínio mais potente
Como usar
/plugin marketplace add guilhermebkel/harness-ledger
/plugin install harness-ledger@guilhermebkel
/harness-ledger:audit-harness
Repo: https://github.com/guilhermebkel/harness-ledger
Se você usa Claude Code há um tempo, queria muito saber o que o relatório achou no seu harness, principalmente o que ele errou. Dá pra reportar sem mandar nada da sessão: ele monta um link de issue só com nomes e contagens, e quem abre e envia é você.