Rodando IA local no seu PC (mesmo com 8GB RAM) — sem hype

Só um detalhe que você deveria explicar: o deepseek-coder1.3 tem mais de 2 anos de lançamento. Pela evolução de 2 anos pra cá, não creio que uma comparação dele com qualquer coisa atual seja válida.

Fiz algo quase parecido.
Rodei ollama, fiz pull de alguns modelos e fui testando.

Os modelos:

1. deepseek-coder:6.7b -: começou muito bem, de repente começou a alucinar, eu dava instrução: Crie a entidade XPTO, fez as classes(Produto.java, ProdutoRepository, ProdutoService e ProdutoController), no dia seguinte pra próxima entidade, já alucinou
   2.qwen2.5-coder:7b - Já começou travando.
   3.qwen2.5-coder:3b - Não completava as tarefas.

Um detalhe, eu uso Aider como assistente de código, e nos meus projetos passava contexto, vários arquivos .MD explicando o que fazer.

E minha máquina é um i5 8400, GTX 1060 6gb, 16gb ram. Em tese deveriam rodar razoável na placa de vídeo, mas a alegria durou pouco, as opções 1, 2 começaram a fugir das ideias com o tempo e a opção 3, foi pior.
E eu via o trabalho delas no monitor da placa de vídeo, pra ter certeza que não estava usando CPU.

No fim das contas, apontei o Aider pra uma api gratuita. E foi show de bola.
Fui passando essa questão de criar por entidade, fui pedindo pra criar os testes na sequência. E teve um ponto que achei que já era possível, passar a instrução, " crie o que falta no projeto" , dito e feito.

Testei algumas coisas e tive poucos pontos de correção, não terminei, mas estou indo aos poucos.

Sobre o Aider: A proposta é pair programing, ele tem capacidade de editar arquivos no projeto, pergunta tudo o que vai fazer, tem opção de commits, achei bom.

Obs: Rodo no Ubuntu

Meus 2 cents,

Parabens pela iniciativa !

Eh sempre interessante acompanhar projetos reais usando a tecnologia.

Para quem gosta de brincar com modelos, testando o que da para rodar local ou nao - e nao tem GPU, uma opcao eh o Google COLAB:

• Gratuito (quota de tempo)
• TPU de 16Gb VRAM (o equivalente de GPU do Google)
• 16Gb de RAM

Como tem acesso "root", da para conectar a sua maquina local via VPN e dai conectar em um agente tambem local (p.ex. OpenClaw, etc) ou em um "hub" (p.ex. OmniRoute).

Falei um pouco sobre isso aqui: CAPÍTULO 9: RODANDO LLM COM GOOGLE COLAB, OPENROUTER, CLOUD GPU E SOBRE A QUANTIZAÇÃO

Enfim, da para fazer muita coisa.

Saude e Sucesso !

Este post foi favoritado via extensão TABNEWS FAVORITOS

Tem curiosidade sobre IA ? Da uma olhada no meu LIVRO: IA PARA ENGENHEIROS

Massa.

eu tentei fazer algo parecido só que usando meu celular.

Se tiver curiosidade vou deixar o link: https://www.tabnews.com.br/WilsonFelipe/transformei-meu-s25-plus-em-um-servidor-de-ia

Puts que baita conteúdo útil!

Eu to tentando adicionar i.a no meu dia a dia pra produzir mais só que travei exatamente na parte de automação, eu queria usar como um assistente de código básico sabe como o CLI do gemini e outros, ocorre que eu não consegui fazer ela gerar ou gerenciar arquivos via cli, você tem alguma sugestão ?

Alguns projetos bem interessantes que tenho acompanhado seguem nessa direção:

• TinyRecursiveModels (SamsungSAILMontreal): parte da premissa de que "less is more" — uma rede de apenas 7 milhões de parâmetros, aplicando raciocínio recursivo sobre si mesma, alcança 45% de acurácia no ARC-AGI-1, um resultado que rivaliza com modelos milhares de vezes maiores. Isso mostra que tamanho não é tudo quando se trata de capacidade de raciocínio.

• RLM (Recursive Language Models, alexzhang13): um framework de inferência que trata prompts longos como um ambiente externo, permitindo que o modelo examine, decomponha e recursivamente chame a si mesmo sobre partes do texto. O resultado? Processamento de contextos virtualmente infinitos e ganhos expressivos em tarefas que exigem raciocínio sobre documentos longos.

• Ouro 1.4B (ByteDance): um modelo looped de 1,4 bilhão de parâmetros que, através de computação iterativa com pesos compartilhados, alcança desempenho equivalente a modelos de 3-4B parâmetros e até ao nível de SOTAs de 12B. A vantagem não está em armazenar mais conhecimento, mas em manipulá-lo de forma mais inteligente.

Outro modelo que é realmente muito impressionante, é o Qwen3.5 0.8b... Eu diria que compete com modelos maiores como o Gemma 4 E2B e E4B em alguns casos... Se algum iluminado unisse alguma destas tecnicas que a galera está utilizando a um modelo como esse, acho que teriamos uma opção bem interessante para rodar localmente até mesmo para tarefas mais complexas!

Tenho utilizado IA local faz um tempo. Realmente é uma ótima opção, entendendo as limitações é claro.

Meu setup atual tenho 16gb de ram. Utilizo LMStudio - mais fácil de configurar - e os modelos Qwen 3.5 9B, Gemma 4 E4B e Ministral 3B.

O que funciona bem:

• Conversação
• Refatorações simples
• Resumo de documentos
• Transcrição de imagens (Ministral 3B principalmente)

Com hardware tipo esse é o limite que vai conseguir alcançar. Uso de agentes, esquece! Menos de 50 tok/s é sofrível.

Com uma GPU, a situação melhora muito. Já dá pra começar a brincar com modelos maiores MoE, tipo o Qwen 3.6 35B.

Para quants, recomendo os do Unsloth. A documentação é bem boa e tem quants de basicamente todos os modelos abertos.

Eu tenho um projeto que acabei pausando, para rodar AI local usando CPU ao inves de GPU, deixei documentado alguns dos meus avancos aqui, se quiser dar uma olhada, talvez pode ser util https://github.com/maiconburn/sparsity-probe