Executando verificação de segurança...
Em resposta a NTK (Neural Token Killer): daemon em Rust que comprime até 90 % da saída de comandos antes de chegar no Claude Code. [PT-BR]
1
Oletros

Meus 2 cents,

Parabens pela iniciativa !

Eh um campo bastante negligenciado - a limpeza de contexto antes de enviar para um LLM trabalhar (isso custa caro).

Sobre suas perguntas:

  1. Você usa agente de LLM que roda comandos locais? Qual comando mais entope seu contexto?
  • docker logs com certeza, tail de saidas diversas e ls de um modo geral.
  1. Se isso existisse antes e você soubesse, teria instalado? O que faria você não instalar?
  • No meu caso o maior impeditivo eh testar e ver na pratica como ele impacta nos conteudos atuais: isso toma um bocado de tempo, pois se tenho um pipeline funcional, preciso ter certeza que adcionar uma ferramenta no meio nao vai impactar negativamente no que ja esta funcionando.
  1. Alguma linguagem / framework que queria ver suportado primeiro?
  • Como nao testei, nao tenho nada especifico para indicar - mas me lembrei das sugestoes de troca de JSON por outro formato mais leve (p.ex. TOON)

Um ponto que pensei eh se ele seria util em RAG, ou mesmo como um otimizador de prompt ou algo do genero (so viajando um pouco aqui).

Na lista de testes (que esta um pouco longa...)

Obrigado por compartilhar !

Post devidamente favoritado via extensão TABNEWS FAVORITOS

Saude e Sucesso !

Carregando publicação patrocinada...
1
luizinhoh2o1

Valeu pelo feedback!
Sobre docker logs, tail e ls: docker logs tá coberto (92%). tail e ls me interessam por um motivo específico, eles caem numa zona onde L1+L2 ainda compensa mas L3 seria overhead puro, output pequeno demais. Vou adicionar como fixtures na próxima leva pra garantir que o fast-path tá otimizado pra esses casos.

Sobre o medo de quebrar pipeline funcional, essa é a objeção #1 que eu precisava ouvir. Tem algumas coisas já na cabeça pra atacar isso

modo observe-only (NTK_OBSERVE_ONLY=1), roda, mede economia, mas devolve o output original. Dá pra avaliar impacto com risco zero.
kill switch via env var, desliga sem desinstalar, sem reiniciar shell.
passthrough garantido abaixo de N tokens (hoje N=300), output pequeno não é tocado.

Vou implementar o observe-only no próximo release e documentar como uma feature "teste" para o usuário validar se gerou impacto suficiente e se foi positivo ou negativo. Acho que isso resolve a maior parte que você mencionou.

valeu pelo tempo, feedback dessa qualidade é o que faz o projeto não ser brinquedo de um dev só :D

1
Oletros
  • Autor
    Autor

Meus 2 cents extendidos,

Fico contente em ajudar.

Esqueci de comentar - repositorio devidamente starreado e forkeado !

Uma coisa que passou pela minha cabeca foi a questao de plugins - dei uma olhada e vi que voce ja tem os "compressores" em .rs e via ollama. fico imaginando se tem alguma forma de criar um "hook" razoavelmente simples para que ele execute uma funcao externa: que pode tanto ser um cache (p.ex. verificar se o sha1 da entrada ja existe, entao retorna direto o cache da entrada), uma funcao especifica ou mesmo um MCP (a funcao na verdade poderia fazer isso) e colocar um timeout ajustavel (-1 deslia) para evitar que ficasse pendurado para sempre.

Saude e Sucesso !