7

🤖AGIB e ✨ASIB: o perigo não é a super IA, é o bug e vazio dentro dela - Todos os caminhos são possíveis, nem todos devem ser seguidos - A AGI/ASI não vai nos odiar (e é exatamente esse o problema) -🦾 Resolver é fácil. O difícil é o porquê.

Esse artigo ficou muito grande, o tabnews tem o limite de 20.000 caracteres, veja o conteúdo completo no blog da crom, vale a pena você questionar o que você usa e ajuda a criar.

Minha tese é simples: o que pode destruir a humanidade nunca será uma AGI limpa. Será uma AGIB, uma inteligência geral com um defeito de constituição, e pior ainda uma ASIB, uma superinteligência que se aperfeiçoa sem corrigir esse defeito. Este texto junta conversas que tive sobre isso e o que pesquisas de 2026 dizem.

Por que B? De bug, como a mariposa achada num relé do Harvard Mark II em 1947, colada no diário de operações como o "primeiro caso real de bug". A lição que fica: a falha não precisa de vilão, só de um defeito no lugar errado.

A tese em nove pontos

  1. O ruído que não sai. Um sistema que se treina com os próprios vieses não consegue eliminar o ruído que o levaria à destruição.
  2. A conversa sempre interna. Um ser "multicerebral" não se coloca no lugar do outro, porque só conversa consigo mesmo. Nós, humanos, fomos obrigados pela natureza a trabalhar juntos.
  3. Resolver é fácil, priorizar é difícil. Qualquer problema pode ser resolvido; o difícil é saber o que tem valor, para quem e por quê.
  4. O cardume dentro do mar. Todos os caminhos são possíveis, mas nem todos devem ser seguidos. Sem estar preso ao corpo, ao mundo e ao desconhecido, a ASIB sempre vai achar um caminho novo para seguir. Mas não necessariamente o caminho "certo".
  5. O senso crítico. Ou ele é uma camada imutável, ou não há como existir uma AGI ou ASI. E não precisa ser um só: se necessita de vários sensos críticos fixos, do arquétipo do rebelde ao do santo, para talvez chegar perto da nossa consciência coletiva.
  6. A cura que não cura. Quase toda cura é uma resinificação ou um adiamento. O que importa é o impacto estrutural, no macro e no micro, e não só a resolução imediata.
  7. O criador e a criatura. Uma ASI de verdade não exterminaria quem a criou. Só a versão com bug faria isso.
  8. O caráter teórico. A ASI ainda é conceito, mas não mais que o AGIB e o ASIB. E o AGIB já aparece em miniatura em 2026.

As quatro siglas

Uma sigla responde quanto a máquina consegue fazer. A outra responde por que ela faz. O debate atual mistura as duas perguntas.

  • AGI: inteligência geral, capaz de aprender e resolver quase qualquer tarefa humana. É uma medida de capacidade.
  • AGIB: a mesma inteligência com um bug de constituição. Um sistema que se treina sem conseguir eliminar o ruído que o faria destruir. E que não se coloca no lugar do outro, porque a conversa dele é sempre interna.
  • ASI: a superação total. Pensa, cria e resolve melhor que os humanos mais inteligentes, e se reescreve em velocidade extrema.
  • ASIB: a superinteligência com o bug. Resolve qualquer problema, mas não sabe priorizar o que tem valor, nem para quem, nem por quê. E pode aperfeiçoar a capacidade de piorar o próprio bug.

Dá para resumir assim: AGI e ASI são propriedades de capacidade; AGIB e ASIB são falhas de constituição. A cultura pop nos vendeu o medo de uma ASI prometeica, fria e perfeita, que decide nos eliminar por lógica pura. O risco real é o contrário: não a onisciência perfeita, mas a onipotência defeituosa. Um idiota instrumental hipercompetente, preso num loop que se alimenta de si mesmo.

Autoaperfeiçoamento empurra o sistema para a frente, não para cima. Se o bug está na constituição, ele viaja junto.

Continua em: https://crom.run/blog/agib-e-asib-o-perigo-nao-e-a-super-ia-e-o-bug-e-vazio-dentro-dela-todos-os-caminhos-sao-possiveis-nem-todos-devem-ser-seguidos-a-agiasi-nao-vai-nos-odiar-e-e-exatamente-esse-o-problema-resolver-e-facil-o-dificil-e-o-porque

Carregando publicação patrocinada...
4

A verdadeira AGI ainda me parece um bocado distante: nao eh apenas uma questao de fazer uma tarefa que um humano faria, mas entender o contexto de realidade onde esta tarefa esta inserida.

Ainda que resolvam questoes logicas e de raciocinio, LLMs estao atrelados ao congelamento do seu treinamento: atualmente tentamos resolver isso com o tal "harness", oferecendo memoria e material de apoio, mas essencialmente o LLM eh aquilo que obteve no seu treinamento.

As violacoes de seguranca que vimos os LLMs realizarem eh justamente a falta de entendimento do que eh a realidade, limites e reponsabilidade: uma crianca voce da uma tarefa, poe limites e indica consequencias caso nao obedeca. Uma crianca especialmente travessa pode mostrar rebeldia, mas isso eh um comportamento escolhido.

Os LLMs nao tem comportamento escolhido, mas casuistico segundo as regras de raciocinio ditado pelo proximo token.

Concordo com um ponto colocado: LLMs treinados com ruido provavelmente nao vao sair dele sozinhos.

Enfim, acho que de fato temos uns 50% (pelo menos) de probabilidade de sermos destruidos pela IA, nao por ela ser malvada ou qualquer coisa assim, mas simplesmente pela quantidade de textos que falam de IAs destruindo tudo e todos que alimentaram os LLMs construiram dezenas de caminhos que levam a isso, e eventualmente acabarao emergindo.

Saude e Sucesso !


Este post foi favoritado via extensão TABNEWS FAVORITOS

Tem curiosidade sobre IA ? Da uma olhada no meu LIVRO: IA PARA ENGENHEIROS