Já rodou uma LLM local? Já tentou usá-la para trabalho?

Recentemente comprei uma placa de vídeo, uma RX 7600 com 8 GB de VRAM. Ela me ajuda muito a jogar e usar o computador de uma forma mais agradável. Desde que comprei, pensei se poderia usá-la no meu trabalho como dev mobile. Afinal, planos para usar IA têm um custo caro, e eu queria reduzir os meus.

Eu não sei se sou ruim em configurar IA local ou se realmente não tem muito o que fazer no meu cenário, mas testei vários modelos, com vários agentes e vários parâmetros diferentes. Testei o Qwen 3.6 27B, o Qwen 3.6 35B, o Gemma 4 12B, o Ornith 9B e, para minha surpresa, não sei se por expectativas altas ou se realmente tive um resultado ruim, quase todos foram muito lentos. Testei também o Qwen 3.5 9B. Tudo muito lento, mas entregavam alguma coisa.

Pedi um simples Snake Game em Go. Só o Qwen 3.6 35B e o Ornith 9B conseguiram me dar algo que compilasse. O Qwen 3.6 35B demorava quase 5 minutos para responder. Eu sei que ele roda praticamente na minha CPU, já que não cabe na minha VRAM, mas quero ressaltar que a qualidade dele, nos meus testes, não foi isso tudo. Ele errou coisas simples também, entregando código que nem compilava, apesar de ter sido o modelo que mais acertou.

O Ornith 9B era muito rápido, cabe inteiro na minha GPU, mas, por outro lado, era bem menos assertivo, bem menos mesmo. Eu sinto que o máximo que posso esperar desse modelo é a implementação de uma função ou classe de forma guiada, pelo menos por enquanto.

É bizarro o quanto os planos de IA, como Claude ou GPT, são superiores, até nos modelos mais simples ou no modo gratuito.

Alguém tem alguma dica sobre como rodar melhor no meu cenário? Eu tenho testes e benchmarks que fiz rodando vários prompts simples 10 vezes e tirando a média de velocidade e acerto. Talvez eu coloque tudo no GitHub. Se eu fizer isso, volto aqui para colocar o link, só para referenciar tudo isso que citei.

Enfim, estou um pouco frustrado tentando rodar IA local. Talvez 8 GB de VRAM sejam só para brincar mesmo com IA local, pelo menos no momento.