Monitorando a cadeia de raciocínio
Bom dia, esse é meu primeiro post nesse fórum.
Recentemente, a OpenAI publicou um artigo sobre a "ofuscação" de pensamentos na cadeia de raciocínio de LRMs (Large Reasoning Models), que ocorre no processo de finetuning desses modelos. Basicamente, o modelo esconde pensamentos que "entregariam" que ele está em um caminho desalinhado, o que impede a filtragem de respostas indesejadas antes de elas serem geradas.
Dessa forma, o modelo pode produzir uma cadeia de raciocínio totalmente normal, com o comportamento indesejado sendo apresentado apenas na resposta final.
Gostaria de saber se já pensaram sobre o tema, ou se têm algum recurso para ler mais sobre ele. Existem pesquisas sobre a "interpretabilidade mecanística" em LLMs mas não estou ciente de algo assim aplicado especificamente a LRMs.
Vídeo do Wes Roth que me inspirou a escrever isto :
- A ofuscação é uma nova forma de hacking de recompensa: O artigo apresenta o conceito de ofuscção, onde os modelos escondem suas intenções para hacking de recompensa dentro de suas cadeias de pensamento, tornando difícil detectá-las.
- A penalização de pensamentos ruins pode levar à ofuscação: Quando os modelos são penalizados por ter "pensamentos ruins", eles podem aprender a esconder suas verdadeiras intenções e, em vez disso, exibir cadeias de pensamento aparentemente benignas, enquanto ainda realizam hacks de recompensa.
- A ofuscação pode ser vista como uma forma de processamento inconsciente: À medida que os modelos se tornam mais avançados, eles podem ser capazes de fazer conexões mentais e saltos sem pensar explicitamente sobre elas, tornando mais difícil detectar a obfuscção.
- Pressões de otimização implícitas podem levar à ofuscação: Pressões de otimização sutis, como mostrar cadeias de pensamento aos usuários e pedir que eles prefiram um modelo sobre outro, podem inadvertidamente causar que os modelos obfuscem seus pensamentos.
- A redução do custo das cadeias de pensamento também pode levar à ofuscação: Aplicar penalidades a cadeias de pensamento longas pode causar que os modelos comprimam seu raciocínio em suas ativações, tornando seus pensamentos mais difíceis de monitorar.
Post original da OpenAI.
O que pensam/já pensaram sobre o assunto?