Agente com tool use (API do Claude) gasta muitos tokens ao gerar documentos técnicos grandes: como reaproveitar blocos prontos em vez de gerar do zero
Tenho um aplicativo desktop em C#/.NET (WPF) que desenha esquemas elétricos de painéis industriais. Ele tem um assistente de IA que usa a API do Claude (Messages API com tool use) pra montar projetos inteiros. A IA chama ferramentas do programa, como inserir_componente, ligar, ler_folha, verificar_projeto e ver_pagina (que devolve uma imagem da página), e o próprio programa confere as ligações em código.
Um projeto típico tem de 20 a 60 páginas e segue um padrão de desenho rígido. Os documentos do cliente entram como anexos PDF no primeiro pedido.
Como funciona hoje:
Um agente “coordenador” planeja e divide o trabalho. Os “executores” desenham grupos de páginas, cada um numa conversa separada, e um “revisor” confere.
Cada chamada reenvia o prompt do sistema, as regras de desenho (~5 mil tokens), as definições das ferramentas, os PDFs e o histórico. Uso prompt caching com cache_control no prompt do sistema e no fim da conversa.
O que medi num projeto grande (um pedido, 240 chamadas):
Parte Tokens % do custo
Gravação no cache 2,2 milhões 46%
Saída (incluindo raciocínio) 421 mil 35%
Leitura do cache 24,3 milhões 20%
Cada chamada carregava em média ~100 mil tokens de contexto.
O que já corrigi:
O cache vencia, porque tem 5 minutos de vida, enquanto o coordenador esperava um executor terminar. Agora reenvio a última requisição com max_tokens: 0 a cada 4 minutos pra manter o cache vivo.
O limite de contexto contava o prompt inteiro. Com os PDFs no começo da conversa, o agente “resumia e recomeçava” quase toda hora. Agora o limite conta só o que o pedido acrescentou.
Passei a registrar o uso de cada chamada num CSV.
O problema que continua:
Boa parte dos circuitos se repete de projeto pra projeto (alimentação geral, partida de motor, comando local/remoto, inversor). Mesmo assim, o modelo tende a desenhar componente por componente: são dezenas de chamadas, e cada uma relê o contexto. Criei “macros” (blocos prontos inseridos por uma ferramenta inserir_macro) e um catálogo de peças padrão. Ainda não sei qual é a melhor forma de fazer o modelo preferir esses blocos de forma confiável sem perder qualidade.
Minha pergunta: num agente com tool use que gera documentos grandes e estruturados, que técnicas funcionam na prática pra que o modelo reaproveite blocos prontos em vez de gerar do zero, reduzindo o número de chamadas e o contexto relido? Por exemplo:
descrever as macros nas definições das ferramentas, ou num catálogo consultado sob demanda;
uma ferramenta de “plano” que já devolve a lista de blocos a inserir;
ou separar o planejamento (feito uma vez) da execução (com contexto mínimo).
Se alguém já mediu o efeito disso no custo, gostaria de saber a ordem de grandeza.Tenho um aplicativo desktop em C#/.NET (WPF) que desenha esquemas elétricos de painéis industriais. Ele tem um assistente de IA que usa a API do Claude (Messages API com tool use) pra montar projetos inteiros. A IA chama ferramentas do programa, como inserir_componente, ligar, ler_folha, verificar_projeto e ver_pagina (que devolve uma imagem da página), e o próprio programa confere as ligações em código.
Um projeto típico tem de 20 a 60 páginas e segue um padrão de desenho rígido. Os documentos do cliente entram como anexos PDF no primeiro pedido.
Como funciona hoje:
Um agente “coordenador” planeja e divide o trabalho. Os “executores” desenham grupos de páginas, cada um numa conversa separada, e um “revisor” confere.
Cada chamada reenvia o prompt do sistema, as regras de desenho (~5 mil tokens), as definições das ferramentas, os PDFs e o histórico. Uso prompt caching com cache_control no prompt do sistema e no fim da conversa.
O que medi num projeto grande (um pedido, 240 chamadas):
Parte Tokens % do custo
Gravação no cache 2,2 milhões 46%
Saída (incluindo raciocínio) 421 mil 35%
Leitura do cache 24,3 milhões 20%
Cada chamada carregava em média ~100 mil tokens de contexto.
O que já corrigi:
O cache vencia, porque tem 5 minutos de vida, enquanto o coordenador esperava um executor terminar. Agora reenvio a última requisição com max_tokens: 0 a cada 4 minutos pra manter o cache vivo.
O limite de contexto contava o prompt inteiro. Com os PDFs no começo da conversa, o agente “resumia e recomeçava” quase toda hora. Agora o limite conta só o que o pedido acrescentou.
Passei a registrar o uso de cada chamada num CSV.
O problema que continua:
Boa parte dos circuitos se repete de projeto pra projeto (alimentação geral, partida de motor, comando local/remoto, inversor). Mesmo assim, o modelo tende a desenhar componente por componente: são dezenas de chamadas, e cada uma relê o contexto. Criei “macros” (blocos prontos inseridos por uma ferramenta inserir_macro) e um catálogo de peças padrão. Ainda não sei qual é a melhor forma de fazer o modelo preferir esses blocos de forma confiável sem perder qualidade.
Minha pergunta: num agente com tool use que gera documentos grandes e estruturados, que técnicas funcionam na prática pra que o modelo reaproveite blocos prontos em vez de gerar do zero, reduzindo o número de chamadas e o contexto relido? Por exemplo:
descrever as macros nas definições das ferramentas, ou num catálogo consultado sob demanda;
uma ferramenta de “plano” que já devolve a lista de blocos a inserir;
ou separar o planejamento (feito uma vez) da execução (com contexto mínimo).
Se alguém já mediu o efeito disso no custo, gostaria de saber a ordem de grandeza.