Apple lança modelo de linguagem open-source capaz de gerar código fora de ordem

O DiffuCode-7B-cpGRPO tem como base o Qwen2.5-7B, da Alibaba. aplica técnicas de difusão para geração de código, de forma semelhante ao que o Stable Diffusion faz com imagens. Enquanto esse tipo de modelo visual começa com uma imagem distorcida e vai refinando-a com base nas instruções do usuário, o DiffuCode realiza esse processo com código-fonte, gerando e aprimorando trechos de forma simultânea e fora da ordem tradicional.

Diferente dos modelos autorregressivos, que produzem texto sequencialmente da esquerda para a direita e de cima para baixo, o DiffuCode é capaz de ajustar partes do código em paralelo. Essa abordagem é especialmente vantajosa para tarefas de programação, nas quais a estrutura geral do código muitas vezes importa mais do que a ordem exata dos tokens

No benchmark HumanEval, voltado para avaliação de modelos em tarefas de programação, o modelo obteve uma média de 73,2%. Apesar do bom desempenho, ainda está abaixo de modelos comerciais como o GPT-4o (90,2%) e o Gemini Diffusion (89,6%). Ele está disponível na plataforma Hugging Face.