Meus 2 cents,
Voce tocou em pontos importantes que geralmente os "gurus de IA" que vendem este servico minimizam:
Para mim o que falta nesses agentes em geral é uma capacidade de interromper o fluxo de raciocínio e auto refletir "perai, não estou encontrando isso no projeto, deixa eu perguntar antes de continuar" ou ainda "será mesmo que essa é a melhor forma de escrever esse código, deixa eu perguntar para meu colega". Eu realmente esperava que o Claude Code me perguntasse mais. Não estou falando de "fiz o arquivo, posso editar", "posso executar esse comando", etc. Estou falando de um senso crítico que provavelmente LLMs não tem e não terão.
As IA's (LLM's) nao sao inteligentes - ponto. (no sentido leigo, como esperamos que alguem seja inteligente, com senso critico sobre aquilo que esta fazendo.)
Como muitos LLM's sao bastante habilidosos em esconder isso atraves de um fluxo razoavelmente coerente de conversa - temos o costume de esquecer que eles ainda nao sao inteligentes o bastante (muitos diriam ate que parecem C-level/diretores de TI/gerentes - falam bastante, tem discurso pronto mas na pratica eh bem chinfrim e lero-lero).
Claro que gosto muito mais da ideia de LLM como um chat, não atoa ele nasceu assim. Você pode conversar com um "banco de dados" gigante. Ter "insights" imediatos e "destravar" pensamentos. Se antes eu conversava sozinho, com pessoas não técnicas ou similares, hoje conversar com uma LLM "contribuí" para que eu consiga pensar em alguma ou outra possibilidade.
Esse eh o ponto onde a IA/LLM brilha - como arcabouco de informacoes. Antes tinha de ficar revirando documentos, livros e outras fontes de informacao. Onde antes fazia procura via google, agora pergunto direto para o LLM e ele ja tras a resposta adaptada para meu contexto.
Claro que isso so funciona porque eu sei o que espero de resposta: as vezes o LLM mostra codigos ou ideias bem obsoletas, sem conexao, ineficazes ou simplesmente ruins (obs: sim, o LLM regurgita codigo bosta em uma velocidade estonteante - se voce nao fizer a curadoria, vai comer merda e arrotar faisao).
Aqui entra outro ponto - o pretenso fim dos DEVs com a ascensao dos LLM's de codificacao. Neste momento (talvez isso mude no futuro, mas se for para advinhar prefiro gastar minha bola de cristal nos numeros da mega-sena) eh obrigatorio ser um DEV com algum conhecimento para avaliar a saida do LLM, senao o app fica cheio de tralha inutil (noves fora os problemas de seguranca).
A constante bajulação dos modelos, afirmações e presunção de certeza prejudicam muito o crescimento de uma conversa
Quem treina LLM optou por introduzir este vies bajulador - ate porque o ser humano adora ser bajulado, e isso eh um problema real: lidar com LLM exige um certo comportamento, uma postura de neutralidade crítica ou suspensão do ego para nao se deixar levar.
Parabens pela postagem - trouxe a tona diversos pontos importantes para que pretende usar LLM's no dia-a-dia.
Saude e Sucesso !