Alguns projetos bem interessantes que tenho acompanhado seguem nessa direção:

• TinyRecursiveModels (SamsungSAILMontreal): parte da premissa de que "less is more" — uma rede de apenas 7 milhões de parâmetros, aplicando raciocínio recursivo sobre si mesma, alcança 45% de acurácia no ARC-AGI-1, um resultado que rivaliza com modelos milhares de vezes maiores. Isso mostra que tamanho não é tudo quando se trata de capacidade de raciocínio.

• RLM (Recursive Language Models, alexzhang13): um framework de inferência que trata prompts longos como um ambiente externo, permitindo que o modelo examine, decomponha e recursivamente chame a si mesmo sobre partes do texto. O resultado? Processamento de contextos virtualmente infinitos e ganhos expressivos em tarefas que exigem raciocínio sobre documentos longos.

• Ouro 1.4B (ByteDance): um modelo looped de 1,4 bilhão de parâmetros que, através de computação iterativa com pesos compartilhados, alcança desempenho equivalente a modelos de 3-4B parâmetros e até ao nível de SOTAs de 12B. A vantagem não está em armazenar mais conhecimento, mas em manipulá-lo de forma mais inteligente.

Outro modelo que é realmente muito impressionante, é o Qwen3.5 0.8b... Eu diria que compete com modelos maiores como o Gemma 4 E2B e E4B em alguns casos... Se algum iluminado unisse alguma destas tecnicas que a galera está utilizando a um modelo como esse, acho que teriamos uma opção bem interessante para rodar localmente até mesmo para tarefas mais complexas!