4

Os modelos menores estao melhorando muito. As empresas estão cada vez mais conseguindo condensar a inteligência.

Entretanto, acredito que existe um limite de usabilidade. De fato, para escrita de commits um modelo de 7B de parâmetros funciona muito bem. Llms são muito boas em resumir texto. O problema com modelos pequenos é que não são bons em generalizar tarefas e não tem grande quantidade de informação "salva" em seus pesos; sendo assim, não são adequados para uso agentico, ou planejamento de tarefas, na minha opinião.

De toda forma, acredito que o futuro seja esse mesmo: delegar tarefas específicas para modelos menores em ambiente local. Boa parte do código que desenvolvo hoje em dia vem do GLM 5.3 Flash. Um modelo de 300B de parâmetros, que, independente da crise do hardware, já pode, em teoria, ser rodado em hardware de consumidor (novos Mac Studio).

Carregando publicação patrocinada...
1

Isso bate com o que eu vi na prática: a única tarefa em que o Qwen perdeu foi justamente a que exige generalizar além do input, os edge cases de teste unitário.

Só mudaria um pouco o eixo. No meu teste cego o que separou os dois não foi o tamanho do modelo, e sim se a resposta certa já estava no input e nos few-shots. Quando estava, o 7B só copiava o formato dos exemplos, enquanto o Sonnet melhorava o que eu não tinha pedido para melhorar. Generalizar bem e obedecer bem puxam para lados opostos.

Sobre uso agêntico eu concordo contigo: nem cheguei a tentar, e meu fallback pro Sonnet já dispara quando o diff passa de 200 linhas, que é mais ou menos onde o 7B começa a inventar.

Esse "em teoria" do Mac Studio é o que mais me interessa. É exatamente onde o meu teste apanhou: a distância entre rodar e rodar rápido o suficiente para compensar o setup. Com os meus 8 GB de VRAM eu nem sonho com 300B. Se você já viu alguém medir tokens/s do GLM 5.3 Flash nessa máquina, manda aí. Valeu pelo

1

Então, esse "em teoria" é justamente por não haver benchmarks. Os Macs com M5 ultra, se não me engano, só vão começar a ser enviados no final do mês.

A questão de rodar rápido suficiente é bem interessante mesmo. A quantidade de VRAM é importante, mas no fim das contas a largura de banda é um dos principais fatores que determinam a velocidade da inferência - a performance bruta da GPU é importante, mas a memória pode se tornar um gargalo. É por isso que não é viável carregar um modelo direto do SSD, por exemplo - é possível, mas muito lento.

O novo M5 Ultra deve entregar ~1200 GB/s de largura de banda. Para efeito de comparação, o anterior M5 Max entrega ~600 GB/s; A RTX 4060,~270 GB/s; e a RTX 5090, ~1800 GB/s. Sim, a 5090, a grosso modo, é a placa de consumidor que vai entregar o melhor desempenho de inferência, mas tem a limitação dos seus 32GB de VRAM, enquanto um Mac Studio, com a memória unificada, pode chegar a 512GB.

Um projeto interessante é o ds4, uma engine de inferência focada no Deepseek-v4-Flash e otimizada para os dispositivos da Apple. Atualmente, o projeto também dá suporte a outros modelos e hardwares. Os benchmarks do projeto reportam algo na casa de ~30 tokens/s no M5 Max.

Dado isso, acredito, sim, que os novos chips, junto de tecnologias como o speculative decoding (MTP, Dspark, etc), que podem em determinadas situações quase dobrar a geração de tokens, conseguirão um bom desempenho no modelo citado.