Analisamos 180.739 sugestões de AI code review.

Estamos analisando como o AI code review se comporta em fluxos reais de desenvolvimento, usando dados de 140.662 pull requests em 530 organizações.

Alguns resultados nos surpreenderam:

→ 33,2% das sugestões de review feitas por IA resultaram em uma alteração no código.

→ Essa taxa aumentou de aproximadamente 25% para quase 48% ao longo do período analisado.

→ PRs com autoria de IA receberam 1,6x mais apontamentos do que PRs escritos por pessoas.

→ Eles também geraram 2,1x mais violações de regras específicas do time.

→ PRs com autoria de IA foram 2,6x maiores na mediana.

→ 71,8% dos PRs mergeados que receberam algum apontamento foram integrados com pelo menos um problema ainda não resolvido.

Minha principal conclusão é que código gerado por IA não elimina a necessidade de review. Ele aumenta a quantidade de código que os times conseguem produzir, mas também pode amplificar problemas existentes quando o processo de revisão não entende o repositório, a arquitetura e as convenções do time.

Outro ponto interessante é que contexto e regras personalizadas pareceram importar mais do que simplesmente trocar entre diferentes famílias de modelos.

Publicamos a metodologia completa e todos os resultados aqui: https://kodus.io/data/