Ollama com Modelos de Raciocínio (DeepSeek R1 e Qwen 2.5 Coder): Como Otimizar VRAM e Contexto Longo
Fala pessoal!
Tô passando por aqui pra compartilhar uma experiência prática que tive nas últimas semanas rodando modelos de raciocínio (DeepSeek R1 distill e Qwen 2.5 Coder) localmente via Ollama. O problema que me motivou: meu agente de código ficava morrendo silenciosamente no meio de sessões longas, sem erro nos logs, e eu demorei dias pra entender que era VRAM sendo consumida de forma não-linear durante a fase de raciocínio estruturado.
Depois de muito teste e frustração, cheguei em três aprendizados concretos que quero trazer pra discussão:
1. O pico de VRAM acontece durante o raciocínio, não na geração final
Um prompt de 8k tokens pode consumir o equivalente a 24k durante cadeia de pensamento. Na minha RTX 3060 12GB, o DeepSeek R1 14B Q4_K_M com num_ctx 32768 batia 14.8GB de pico — ou seja, overflow garantido. A tabela que montei mostra o padrão:
| Modelo | Quant | num_ctx | VRAM Base | VRAM Pico |
|---|---|---|---|---|
| DeepSeek R1 14B | Q4_K_M | 32768 | 9.2 GB | 14.8 GB |
Margem segura é 30% acima do valor base. Se tá no limite, vai falhar intermitentemente.
2. Modelfile com num_gpu explícito salva vidas
O Ollama por padrão tenta carregar todas as camadas na GPU e falha silenciosamente quando acaba VRAM. A solução é forçar offload parcial:
FROM deepseek-r1:14b-q4_K_M
PARAMETER num_ctx 32768
PARAMETER num_gpu 28
PARAMETER flash_attention true
O num_gpu 28 deixa as camadas restantes em RAM. Comece com 80% do total e ajuste via ollama ps após a primeira inferência. Sem isso, é roleta russa.
3. Limites de memória no nível de sistema previnem catástrofes
Em produção local, nunca confie só no Ollama pra gerenciar memória. Configure cgroups/systemd:
# /etc/systemd/system/ollama.service.d/memory-limit.conf
[Service]
MemoryMax=24G
MemoryHigh=20G
Isso previne que o processo consuma toda a RAM e derrube outros serviços críticos. Zram/zswap serve como buffer de emergência, não como solução permanente.
Referência completa com detalhes sobre Q4_K_M vs Q5_K_M e CUDA vs Vulkan:
Agora a pergunta pra comunidade: quem aqui tá rodando modelos de raciocínio em produção local? Vocês usam alguma estratégia diferente pra gerenciar contexto longo em agentes, tipo summarização automática ou janelas deslizantes? Tô especialmente curioso sobre abordagens que funcionam bem com menos de 16GB de VRAM, porque a maioria dos tutoriais assume hardware que não é acessível pra todo mundo.