Como implementei IA corporativa para 15 funcionários e um fluxo contínuo de clientes

Um dos meus clientes usa uma plataforma de IA que apoia o trabalho diário de uma equipe de 15 pessoas e atende clientes pelo site e pelo WhatsApp Business. O modelo principal, Gemma 4 31B, roda em uma GPU alugada nos Estados Unidos. O orçamento de infraestrutura e APIs é de US$ 921 por mês.

O que importa para mim aqui é o uso contínuo. Um funcionário abre documentos, discute uma tarefa, volta no dia seguinte e precisa encontrar todo aquele contexto. Enquanto isso, os clientes continuam chegando, escolhendo produtos e consultando preços e disponibilidade. Por isso construí o sistema em torno desses dois fluxos, com bancos de dados e memória separados, para que cada pessoa receba os dados aos quais tem acesso e possa continuar trabalhando.

O conhecimento da empresa e a memória de cada funcionário

Os funcionários usam espaços de trabalho individuais e o Slack. A base de conhecimento compartilhada reúne documentos e políticas da empresa, enquanto a memória pessoal guarda as tarefas, as decisões confirmadas e as preferências de trabalho de cada pessoa. As permissões por departamento, projeto e usuário determinam quais materiais podem entrar na resposta.

Os documentos passam por uma extração estruturada, são divididos em trechos com sentido próprio e indexados para busca textual e vetorial. A cada solicitação, o sistema verifica primeiro as permissões e depois recupera e ordena as fontes relevantes. A resposta usa as informações necessárias e oferece ao funcionário um link para o documento original.

Quando um arquivo muda, os registros correspondentes são atualizados. Uma nova decisão tomada na conversa é salva com sua fonte e seu responsável. Os funcionários podem consultar, corrigir ou apagar a memória. Assim, o trabalho tem continuidade e a origem de cada informação fica visível.

Atendimento ao cliente e preços atualizados

O site e o WhatsApp Business usam um banco de dados separado para o atendimento ao cliente. Ele recebe os materiais aprovados, o catálogo e os dados operacionais. O banco interno da empresa permanece em seu próprio ambiente.

As descrições dos produtos ajudam a encontrar opções adequadas, enquanto funções específicas consultam preços e disponibilidade nos registros atuais. Quando um cliente pede a opção adequada mais barata, o sistema primeiro confere as especificações exigidas e depois compara o preço total. Uma alteração de preço atualiza o registro no catálogo e os caches associados.

As conversas no site e no WhatsApp preservam os requisitos do cliente e o histórico de seleção de produtos. A transferência para um atendente fica registrada no mesmo fluxo, para que ele dê continuidade ao trabalho já iniciado.

Distribuição da carga e análises para a gestão

Filas separadas atendem funcionários, clientes e atualizações em segundo plano. O Gemma no servidor da empresa executa a carga principal. Os picos de tráfego têm um orçamento próprio para inferência externa, e os responsáveis pelos departamentos e a direção da empresa usam uma conexão de API separada com modelos analíticos avançados.

O gestor seleciona a pergunta e os documentos, revisa o material que será enviado e inicia a análise. O sistema verifica as permissões de acesso, contabiliza o custo e salva o resultado no espaço de trabalho corporativo.

Custos e controle dos dados

O orçamento mensal de US$ 921 inclui US$ 749 para a GPU, US$ 22 para o servidor público e o armazenamento de backup, US$ 50 para os picos de solicitações e US$ 100 para análises externas da gestão. A GPU é paga a cada três meses, no valor de US$ 2.247 por período. Implementação e administração humana são custos separados.

Também calculei os custos de API para 3.000 chamadas ao modelo por dia, com 80% da entrada lida do cache e os 20% restantes gravados em um cache de curta duração. Nesse volume, a aplicação usando Sol ou Sonnet custa US$ 1.672,40 por mês, incluindo os servidores da aplicação e o orçamento para análises da gestão. Em comparação com US$ 921, a economia é de US$ 751,40 por mês, ou 44,9%. Sol e Sonnet chegam ao mesmo valor porque suas tarifas por token são iguais. O documento apresenta separadamente os custos de entrada, saída e gravação no cache, além das comparações com Opus e Astra.

O documento anexo contém a implementação completa, os diagramas, as configurações, os prompts e os cálculos.

Relatório de engenharia completo (PDF em inglês).

Publicado originalmente em denisostapenko.com.

Denis Ostapenko · ORCID: 0009-0006-2630-7280.