Executando verificação de segurança...
8

Mitchell Hashimoto, cofundador da Hashicorp, afirma que muitas empresas estão sob “forte psicose de IA”

Na psicologia, psicose é uma alteração mental na qual a pessoa perde o contato com a realidade. Para Hashimoto, é impossível, neste momento, ter conversas racionais sobre o uso da tecnologia, e o problema atinge “toda a indústria de desenvolvimento de software”. Para ele, os sistemas podem parecer saudáveis por métricas internas, enquanto ao mesmo tempo tornam-se globalmente incompreensíveis, aumentando o risco latente e deterioração da arquitetura subjacente.

Carregando publicação patrocinada...
2

Meus 2 cents,

No meu ponto de vista, traduzo a preocupacao dele assim:

  • "Como manter entendimento humano em sistemas modificados continuamente por IA ?"

Quanto mais "suave" o "harness" permite a adocao de IA/Agentes, menos atrito (ou precaucao) temos ao fazer uso deles - e se tudo parece OK via TDD (onde os testes verificam as regras de negocio) a tendencia eh acreditar que vai dar tudo certo.

Nem estou entrando no merito da ideia que "IA deixa o DEV burro" (afirmacao da qual discordo) - mas da tendencia de "afrouxar" os controles do que a IA esta gerando internamente, desde que o resultado final pareca positivo.

Nao consigo desprezar a produtividade que a IA me entrega, mas a cada dia uma pulga atras da orelha fica me pertubando: "se eu precisar da manutencao manual deste codigo, to fudido".

Saude e Sucesso !


A traducao do post dele (via "gepeto", claro) segue abaixo:

Eu acredito fortemente que existem empresas inteiras agora vivendo uma espécie de psicose pesada causada por IA, e é praticamente impossível ter conversas racionais sobre isso com elas. Não posso citar pessoas específicas porque isso inclui amigos pessoais por quem tenho profundo respeito, mas me preocupo com a forma como isso vai evoluir.

Eu vivi o grande acerto de contas entre MTBF vs MTTR (tempo médio entre falhas vs. tempo médio para recuperação) na infraestrutura durante a transição para cloud e automação em nuvem. Todos aqueles debates estão reaparecendo da pior forma possível — só que agora envolvendo… toda a indústria de desenvolvimento de software (talvez o mundo inteiro, na verdade).

Isso assusta, porque o pessoal da “psicose” opera quase sob uma mentalidade absoluta de “MTTR é tudo o que importa”: “não tem problema entregar bugs porque os agentes vão corrigi-los tão rápido e numa escala que humanos nunca conseguiriam!”. Nós aprendemos na infraestrutura que MTTR é ótimo, mas você não pode simplesmente jogar sistemas resilientes pela janela.

O principal problema é que eu nem sei como levantar esse assunto com pessoas que conheço pessoalmente, porque tocar nesse tema leva imediatamente a respostas defensivas como “não, não, temos cobertura total de testes” ou “os relatórios de bugs estão diminuindo”, coisas que simplesmente não mostram o quadro completo.

Nós já aprendemos essa lição uma vez em infraestrutura: você pode automatizar tanto um sistema que acaba criando uma máquina de catástrofes extremamente resiliente. Os sistemas podem parecer saudáveis pelas métricas locais enquanto, globalmente, se tornam incompreensíveis. Os relatórios de bugs podem diminuir enquanto o risco latente explode. A cobertura de testes pode aumentar enquanto a compreensão semântica despenca. As mudanças acontecem tão rápido que ninguém percebe a arquitetura subjacente se deteriorando.

Eu me preocupo.


Este post foi favoritado via extensão TABNEWS FAVORITOS

Tem curiosidade sobre IA ? Da uma olhada no meu LIVRO: IA PARA ENGENHEIROS

1

Uma coisa tem me feito pensar ultimamente. E se... (chapéu de alumínio mode on) alguns modelos proprietários de IA estejam intencionalmente criando brechas tão complexas de segurança/performance, que depois só poderão ser identificadas/resolvidas por modelos bem mais sofisticados e restristos, em que somente poucas empresas terão acesso ?

PS: por favor me corrijam se eu estiver falando merda, pq eu adoraria estar errado sobre isso

1

estejam intencionalmente criando brechas

  1. Duvido que os modelos tenham capacidade de fazer algo assim
  2. Se você revisar seu código isso não vai acontecer
  3. Isso daria um processo do tamanho de fim de empresa e prisão de todos executivos, duvido que alguem tomaria esse risco