Olhando pelo outro lado da moeda: LLM está num nível que dá para "escrever hacks sem sequer entender" (parafraseando Andy). Um dos problemas é a quantidade de falsos-positivos, mas com o tempo isso deve melhorar (tanto por qualidade das LLMs quanto por validações automáticas para verificar isso).

E especificamente esse ponto me lembrou de um comentário que vi no Hacker News, trecho relevante abaixo:

In the first 10 years of the rclone project we received about 20 security disclosures through GitHub. We had to deal with over 40 in the last month! That has taken a huge amount of my time, even using AI tools to triage and come up with fixes for review.

The hit rate for those security disclosures is pretty good - about 75% of them have a nugget of something which needs looking at.