Muito boa a análise sobre cache de prompt e afinidade de sessão no edge — na prática de produção, o que mais destrói margem e latência em aplicações com IA é justamente reenviar contexto repetido sem chave estável.

No SecretárioExecutivo, onde processamos transcrições longas de chamadas (Google Meet, Microsoft Teams e Zoom) para extrair atas diarizadas e tarefas para Trello/Jira, esbarramos num problema correlato: picos ocasionais de latência das APIs de LLM que seguravam buffers de requisição e estouravam o limite de RAM do container Fastify (~30 MB em VPS de 2GB).

Resolvemos com duas abordagens pragmáticas:

1. Normalização Canônica de Diarização: O payload de qualquer plataforma (Meet/Teams/Zoom) é compactado antes do prompt em blocos sintéticos (speaker, time, action), reduzindo em ~65% os tokens de input.
2. Fast-Break com Fallback Determinístico (Promise.race): Timeout de 4s na chamada de IA; se estourar, um parser determinístico via regex estrutural entra em cena e gera a ata e os cards sem travar a experiência do usuário.

Essa combinação de cache/resumo no upstream com fallback determinístico local é o que permite manter o serviço de pé com custo e memória quase nulos.