1

Isso bate com o que eu vi na prática: a única tarefa em que o Qwen perdeu foi justamente a que exige generalizar além do input, os edge cases de teste unitário.

Só mudaria um pouco o eixo. No meu teste cego o que separou os dois não foi o tamanho do modelo, e sim se a resposta certa já estava no input e nos few-shots. Quando estava, o 7B só copiava o formato dos exemplos, enquanto o Sonnet melhorava o que eu não tinha pedido para melhorar. Generalizar bem e obedecer bem puxam para lados opostos.

Sobre uso agêntico eu concordo contigo: nem cheguei a tentar, e meu fallback pro Sonnet já dispara quando o diff passa de 200 linhas, que é mais ou menos onde o 7B começa a inventar.

Esse "em teoria" do Mac Studio é o que mais me interessa. É exatamente onde o meu teste apanhou: a distância entre rodar e rodar rápido o suficiente para compensar o setup. Com os meus 8 GB de VRAM eu nem sonho com 300B. Se você já viu alguém medir tokens/s do GLM 5.3 Flash nessa máquina, manda aí. Valeu pelo

Carregando publicação patrocinada...
1

Então, esse "em teoria" é justamente por não haver benchmarks. Os Macs com M5 ultra, se não me engano, só vão começar a ser enviados no final do mês.

A questão de rodar rápido suficiente é bem interessante mesmo. A quantidade de VRAM é importante, mas no fim das contas a largura de banda é um dos principais fatores que determinam a velocidade da inferência - a performance bruta da GPU é importante, mas a memória pode se tornar um gargalo. É por isso que não é viável carregar um modelo direto do SSD, por exemplo - é possível, mas muito lento.

O novo M5 Ultra deve entregar ~1200 GB/s de largura de banda. Para efeito de comparação, o anterior M5 Max entrega ~600 GB/s; A RTX 4060,~270 GB/s; e a RTX 5090, ~1800 GB/s. Sim, a 5090, a grosso modo, é a placa de consumidor que vai entregar o melhor desempenho de inferência, mas tem a limitação dos seus 32GB de VRAM, enquanto um Mac Studio, com a memória unificada, pode chegar a 512GB.

Um projeto interessante é o ds4, uma engine de inferência focada no Deepseek-v4-Flash e otimizada para os dispositivos da Apple. Atualmente, o projeto também dá suporte a outros modelos e hardwares. Os benchmarks do projeto reportam algo na casa de ~30 tokens/s no M5 Max.

Dado isso, acredito, sim, que os novos chips, junto de tecnologias como o speculative decoding (MTP, Dspark, etc), que podem em determinadas situações quase dobrar a geração de tokens, conseguirão um bom desempenho no modelo citado.