Estudo da Anthropic analisa se o uso de IA em programação prejudica desenvolvimento de habilidades
Um estudo conduzido pela Anthropic investigou se o uso de assistência por IA em programação aumenta a produtividade à custa do desenvolvimento de habilidades, especialmente em contextos de aprendizado de novos conceitos.
O experimento contou com a participação de 52 desenvolvedores de software, em sua maioria profissionais juniores. Eles foram divididos em dois grupos. O primeiro podia usar ferramentas de IA, e o segundo precisava escrever tudo manualmente. Os profissionais precisaram utilizar a biblioteca Trio, do Python, pela primeira vez, para solucionar um problema, e foram instruídos a fazer isso o mais rápido possível. Após a conclusão, eles tiveram que responder um quiz para medir o quanto de conhecimento foi adquirido com o uso da nova ferramenta.
Os resultados mostraram que o grupo com acesso à IA concluiu a tarefa, em média, apenas cerca de dois minutos mais rápido do que o grupo sem IA. No entanto, esse mesmo grupo obteve média de 50% no quiz, enquanto o grupo que codou sem assistência alcançou 67%, uma diferença de 17 pontos percentuais.
A maior queda de desempenho foi observada em questões de depuração, sugerindo que a capacidade de identificar erros e compreender as causas de falhas no código pode ser particularmente afetada pelo uso excessivo de IA.
Participantes que utilizaram a IA para pedir explicações, fazer perguntas conceituais e verificar o próprio entendimento apresentaram maior retenção de conhecimento. Já padrões de uso com forte delegação à IA, como permitir que a ferramenta escrevesse ou depurasse todo o código, resultaram nos piores desempenhos, apesar de permitirem a conclusão mais rápida das tarefas.
Desenvolvedores que trabalharam sem IA cometeram mais erros durante a atividade, mas o processo de errar e corrigir contribuiu para melhores habilidades de depuração e maior domínio conceitual.
Os pesquisadores apontam que a tecnologia pode acelerar tarefas quando as habilidades já estão bem desenvolvidas, mas pode atrapalhar a aquisição de novos conhecimentos se for usada como substituta do esforço cognitivo.