Ferramentas de desenvolvimento com IA geram código inseguro em 45% dos casos, segundo estudo

Um estudo conduzido pela Veracode avaliou a segurança do código gerado por ferramentas de desenvolvimento baseadas em IA.

Para isso, foram criadas 80 tarefas de programação utilizando as linguagens Java, JavaScript, C# e Python, envolvendo vulnerabilidades conhecidas como SQL injection, cross-site scripting, log injection e uso de algoritmos criptográficos inseguros. Cada tarefa incluía um trecho de código acompanhado por um comentário descrevendo a funcionalidade desejada — permitindo que a implementação fosse feita de forma segura ou não.

Os resultados indicam que apenas 55% das respostas dos modelos resultaram em código seguro, ou seja, cerca de 45% introduziram vulnerabilidades já conhecidas.

Entre as linguagens, o Python apresentou a maior taxa de segurança (61,7%), seguido por JavaScript (57,3%) e C# (55,2%). O Java teve o pior desempenho, com apenas 28,5% das gerações consideradas seguras.

No recorte por tipo de falha, os modelos se saíram melhor ao lidar com criptografia insegura (85,6%) e SQL injection (80,4%), mas tiveram baixo desempenho em cross-site scripting (13,5%) e log injection (12%).

O tamanho dos modelos teve impacto mínimo: modelos médios (entre 20 e 100 bilhões de parâmetros) obtiveram desempenho médio de 51,1% em segurança, seguidos por modelos pequenos (50,9%) e grandes (50,7%).