A Engenharia da Destilação: Como Modelos Chineses Aprenderam com Claude, GPT-4 e a Si Mesmos
A Anthropic descobriu 16 milhões de interações com o Claude sendo usadas para treinar modelos chineses.
A técnica por trás disso se chama destilação de conhecimento — e é o motivo pelo qual a DeepSeek alcançou a fronteira da IA gastando uma fração do orçamento.
Não é roubo de código. É uma técnica formal de machine learning formalizada pelo Geoffrey Hinton em 2015: um modelo grande (teacher) ensina um pequeno (student) reproduzindo não só a resposta final, mas a distribuição completa de probabilidade. Hinton chamou isso de dark knowledge — conhecimento escondido nos cantos da distribuição.
O caso paradigmático é o DeepSeek-R1. Eles pegaram seu modelo de 671 bilhões de parâmetros e destilaram em seis modelos menores, sob licença MIT. O resultado que mais impressiona:
→ Um modelo de 32B destilado superou um 32B treinado com 10 mil passos de reinforcement learning.
Isso mudou o jogo do open-source. Modelos de raciocínio da classe do GPT-4 rodando em hardware acessível.
▸ O custo explica a polêmica: treinar um GPT-4 do zero custa ~US 5 a US$ 20. A diferença é de quatro ordens de magnitude.
▸ A ironia: a OpenAI processa o NYT por treinar sobre conteúdo protegido — e invoca "fair use" para si mesma. Ao mesmo tempo, trata a destilação alheia como roubo.
▸ A defesa técnica falha: paper do ACL 2025 mostrou que watermarking é removido por paraphrasing. Não existe muro robusto até hoje.
A destilação é, ao mesmo tempo, a técnica mais poderosa e mais controversa da IA atual. Comprime conhecimento, reduz custos, democratiza acesso — e ameaça o modelo de negócio de quem construiu a fronteira.
Escrevi um artigo completo explicando do primeiro princípio (a matemática do temperature scaling) até o pipeline que você roda na sua máquina por cinco dólares.
#LLM #DeepSeek #MachineLearning #IA #InteligenciaArtificial