Realmente, os trade offs estão sempre por aí.
Sobre a i.a ser não deterministica, portanto inevitavelmente uma hora irá errar... N vejo como um problema, nos humanos também erramos o tempo todo. A questão será, quem ira errar menos? E quem vai aceitar mais rápido?
Você não pede uma LLM para fazer conta. E não pede uma calculadora para resumir texto. Não temos que aceitar o contrário. Só temos que entender para que serve cada ferramenta.
A LLM (e nem falo da IA de modo geral) virou um santo graal para todo tipo de problema. Ela simlesmente não é uma solução para todo tipo de problema. Atividades que podem ser resolvidas através de lógica booleana não deveriam ser delegadas à um modelo probabilístico. Mas as pessoas estão insistindo que ela vai conseguir seguir regras de sim/não com base em prompts...
E realmente, eu também tive aqui minha primeira grande desilusão, pois não só ela não segue regras de sim/não, como sua qualidade degrada "exponencialmente" a medida que o contexto aumenta.
Isso é um fato. Basta ver pessoas usando llms para fazer várias contas de somas/multiplicação etc e depois reclama "o llm alucina com coisas básicas", mas mais básico é saber q é um desperdício de tokens e energia usar llm invés de calculadora em casos assim.
O problema é quase sempre é o próprio ser humano.
Quanto a questão de janela de contexto, sim, um problema crônico, mas q tem evoluído bastante com agentes, técnicas de RAG e llms como Gemini com janelas maiores.
Você que é programador e experiente não pede, mas quanto a empresa vende a IA com a propaganda de Crie planilha, organize seus números de alguma forma, isso acabou de virar "Juridicamente" defeito de produto.
Quando disse que "você não pede", me referia ao programador. Ele não pede algo para um modelo.
Vou usar seu exemplo para tentar me explicar melhor:
chat:
usuario: crie uma planilha para eu controlar meu cafezinho. > enter
Dentro do app:
systemPrompt: "você é um experiente criador de planilhas. atenda ao usuário blah blah blah..."
human: "crie uma planilha para eu controlar meu cafezinho."
AI: "(a LLM cria a planilha, provavelmente em XML, e chama uma tool para salvar)"
tool: salvarPlanilha(conteudo) (retorna link)
AI: "Aqui está sua planilha. Baixe no link: "htt..."
Usuário: "Não abre!"
ATENÇÃO: vou simplificar ao máximo. observe apenas o conceito.
chat:
usuario: crie uma planilha para eu controlar meu cafezinho. > enter
Dentro do app:
systemPrompt: "Você possui uma série de tools que estão preparadas para atender o usuário. Com base na mensagem escolha a tool adequada. Você pode pedir mais informações ao usuário caso o texto seja ambíguo. blah blah blah"
human: "crie uma planilha para eu controlar meu cafezinho."
AI: "chama a tool detectarIntencaoDoUsuario"
tool: detectarIntencaoDoUsuario(conteudoRecente) (retorna 'criar_planilha_gastos_pessoais')
AI: "chama a tool criarPlanilha('criar_planilha_gastos_pessoais')"
tool: criarPlanilha('criar_planilha_gastos_pessoais') (retorna "objeto_interno_id_xyz")
AI: "chama a tool criarSimulacao('criar_planilha_gastos_pessoais', conteudoRecente)"
tool: criarSimulacao('criar_planilha_gastos_pessoais', conteudoRecente) (retorna "sucesso" ou "falou, evaluation:'ao inserir valor com vírgula gerou erro'")
etc... etc...
A LLM é só um "tradutor" de itenção e orquestrador de ferramentas. O que realmente faz o trabalho são tools, que internamente, na sua quase totalidade, são aplicativos tradicionais. software puramente determinístico.
Observe no meu exemplo "bom" principalmente no detectarIntencaoDoUsuario que retorna 'criar_planilha_gastos_pessoais': sim, o usuário deverá pedir um caso que já foi antecipado pelo desenvolvedor. o software deve ter o conhecimento de como criar_planilha_gastos_pessoais.
Não é como o marketing vende, é como o software decide entregar o que o marketing vende. Do jeito fácil que alucina, ou do jeito difícil que funciona.
A Anthropic é um exemplo perfeito: está revolucionando o mercado que a OpenAI criou. O que ela faz? software tradicional por baixo dos panos. Ela tem tool pra tudo. Não é a LLM que cria software para o usuário. A LLM orquestra as tools/skils...
Na verdade o que vai manter empresas "abertas" é quem vai absorver o erro gerado? O suporte? O RH, nos hospitais o cemitério?
Concordo, esta discussão de ética ocorre bastante no meio acadêmico. Quando der mer$a, quem vai pagar por isso? openai? o programador q delegou tudo? a empresa? o usuário ficará a mercê?
Sinceramente, a minha visão é pessimista. Acho q o elo da corrente mais fraco vai quebrar como de costume.
O exército q tiver melhor I.A para pilotar seus drones/caças vai subjulgar seu inimigo.
A elite q dominar a tecnologia irá ganhar a corrida social, econômica, militar etc etc.
Por outro lado já existe algumas legislações criadas e sendo aplicadas pelos governos...
Agora como programador, usar i.a para codar ou como search virou cotidiano, infelizmente e felizmente!