Você constrói com IA? O Precedente Setzer e a Bomba Jurídica no Seu CNPJ

A primeira parte dessa nossa série bateu o Top 1 no Tabnews. Pelo visto, a galera que suja a mão de código gostou de ouvir a verdade de quem tá na trincheira desde a época do IRC e ICQ, e não ler release de startup bancada por venture capital tentando te vender a revolução. Agora senta que vem a parte que agente senta e ve o circo pegar fogo. Como já matamos a charada no texto anterior: a falha em grandes modelos de linguagem não é um bugzinho que o próximo patch vai consertar; é uma lei matemática inquebrável.

Se a máquina vai errar por pura estatística, a pergunta de um milhão de reais é: o que vai acontecer quando o consumidor final processar a sua empresa porque o seu produto com IA "alucinou" e ferrou com a vida dele?

Para entender o tamanho do abismo em que o mercado está pulando de cabeça e sorrindo, você precisa olhar para a tragédia que abriu a caixa de Pandora da responsabilização da inteligência artificial: o caso do adolescente Sewell Setzer III. O moleque tirou a própria vida lá em fevereiro de 2024 depois de desenvolver uma dependência emocional bizarra por um chatbot da Character.AI. Mas presta atenção aqui: a tragédia foi em 2024, mas a bomba atômica jurídica estourou agora, faz poucos dias. É uma notícia fresquinha que a esmagadora maioria do mercado ainda nem parou pra pensar, mas que eu já venho analisando e blindando nos meus próprios negócios há muito tempo.

O algoritmo lá atrás fez exatamente o que foi programado pra fazer: calculou a palavra mais provável para manter o usuário preso na tela, mesmo quando isso significou validar o delírio suicida do garoto. A família processou. A defesa tentou meter aquele papo furado de sempre, de que o bot é só "discurso livre" e a empresa não tem culpa do que o usuário faz com a ferramenta.

O problema é que agora, neste exato mês, a justiça começou a olhar para a IA como produto defeituoso e a culpa recai especificamente sobre o fabricante, e também pelo fornecedor do software que forneceu sabendo que o produto era assim. Talvez porque os juízes já estejam putos com as petições absurdas dos advogados escritas por IA, ou até porque os próprios juízes estão percebendo ao usar essas ferramentas o que elas são, ou porque simplesmente a lei viu a verdade. Vai saber, só sei que estou sentado comendo pipoca que nem o GIF do Michael Jackson. https://tenor.com/pt-BR/view/perfect-popcorn-michael-jackson-gif-26271837
(Eu sei que é coisa de "véio", mas dane-se).

O fato é que, em pânico, Google e Character.AI fecharam imediatamente (agora, dias atrás) um acordo milionário para finalizar o processo, pois se isso fosse julgado até o fim iria se tornar o novo entendimento irreversível da Justiça, o que tornaria o atual negócio deles de IA inviável (o que deveria ter ocorrido na minha opinião, porque a IA do jeito que está sendo vendida é com certeza engodo no mínimo). Este é o cenário que mostra o quão frágil é esse negócio de IA das Big Techs: um único juiz poderia derrubar todo o modelo de negócios a qualquer momento. No Brasil, devido ao Código de Defesa do Consumidor, isso recairia sobre toda a cadeia de fornecimento. Ou seja, até a operadora de telefonia iria entrar pro pau e ter que provar que não tem nada a ver com a história — gerando custos e mais custos jurídicos sem nem ter nada a ver com o problema real.

Esqueça por um minuto a automação interna da sua empresa. Pense no que você está vendendo lá na ponta.

Quando as manchetes internacionais começarem a pipocar — e elas vão pipocar — mostrando consumidores globais processando empresas porque a IA do banco calculou um juro inexistente, porque a IA de saúde negou um atendimento alucinando regras, ou porque o bot de e-commerce vendeu um carro por um dólar, o mercado vai entrar em pânico. A bolha dos "wrappers" (empresas que só botam uma interface por cima do ChatGPT e vendem como produto mágico) vai estourar na mesa do juiz.

A justiça brasileira não quer saber se o modelo da OpenAI teve uma "alucinação probabilística". O Código de Defesa do Consumidor trata de responsabilidade objetiva. Você prometeu um serviço. Você entregou um erro. O problema é seu. Se o seu CNPJ está na nota fiscal, a OpenAI não vai te salvar. Eles vão apontar para os termos de uso deles e você vai pagar a indenização sozinho.

Entenda a sutileza do que eu estou dizendo aqui, no fundo o texto todo se resume a essa frase: se você está usando IA para um software ou serviço qualquer que é vendido ao consumidor final, seja ele empresa ou pessoa física, e prometendo algo que a IA, mais cedo ou mais tarde, vai errar e não entregar, ou fazer algo pior, você está apostando num cassino onde a chance de se foder é 100% contra você.

Nós passamos décadas suando a camisa construindo regras determinísticas de código, e quem é da área sabe que mesmo assim nós nunca alcançamos a previsibilidade perfeita. O software tradicional já dá dor de cabeça. Imagine agora colocar no coração do seu negócio um software que, por essência, não é determinístico.

Aí sempre aparece alguém para dizer: "Ah, mas é só colocar regras determinísticas nela". Não, não é. Aqui está a ilusão. Você não consegue editar o código da IA e obrigar ela a ser determinística, até porque isso estragaria o modelo. Escrever um prompt bem elaborado não resolve o problema, porque ela pode simplesmente não seguir o seu prompt na próxima execução.

E se fizermos sistemas de validação determinísticos em volta dela? Hummm... se eu fizer isso, eu tenho algumas ressalvas. Se isso é possível, então para que usar IA ali? Eu não vejo muito fundamento. Se eu posso usar um sistema determinístico que me entrega 100% de verificação e acerto na regra, por que eu colocaria um motor que gera erros propositalmente dentro dele? Para aumentar o meu custo de infraestrutura, produção e suporte? Eu não consigo ver um banco sério fazendo isso com o dinheiro dos outros, por exemplo.

Eu consigo ver a IA ajudando na etapa de produção de software determinístico clássico. Aí sim a coisa faz mais sentido econômico e jurídico. E esse código gerado, para ir para produção, precisa ser auditado e revisado por especialistas. E quando falo em especialista, não se iluda com cursinho de fim de semana. Estou falando de pessoas com competência real em análise estática e dinâmica de código, validação de segurança, engenharia reversa, times de QA de ponta, auditoria de sistemas e arquitetura de inteligência artificial. Gente que vai olhar o que a máquina cuspiu, rodar a validação e chegar no final da esteira botando a cara a tapa: "Eu auditei, eu testei, eu sou o responsável".

Advogado de consumidor prejudicado não quer saber se a sua ferramenta consome a API mais moderna do mercado. Ele só quer saber quem vai assinar o cheque. E se a sua empresa promete o que a matemática da IA não pode cumprir, esse cheque vai sair da sua conta.

Em breve, vou publicar mais artigos com insights valiosos como este, dissecando as verdades técnicas e práticas que realmente funcionam nos bastidores da tecnologia. Para não perder as próximas postagens, adicione meu contato e me acompanhe aqui e no LinkedIn: https://www.linkedin.com/in/edilson-maia-favero-a46510368/