uma RX 7600
Não é a toa que a NVIDIA é atualmente a empresa mais valiosa do mundo.
Ela tem o cuda
GPU AMD não consegue rodar modelos locais de forma satisfatória, só Nvidia.
Já testou os modelos chineses? ou o próprio grok?
Em resposta a Já rodou uma LLM local? Já tentou usá-la para trabalho?
1
2
Não eu testei varios do ollama localmente e roda muito rapido o problema é a qualidade mesmo infelizmente, tenho um amigo com uma plara da NVIDIA ele consegue rodar melhor por que a placa dele tem 12VRAM mas ainda sim longe de ser satisfatorio ele paga o claude max para trabalho assim como eu
1
O limite aqui é VRAM, não fabricante. Um modelo de 35B não cabe em 8GB de forma alguma, seja NVIDIA ou AMD — a conta de memória não fecha em nenhum dos dois casos.
Sobre CUDA vs ROCm: uso a mesma RX 7600 8GB no Linux e rodo modelos locais sem problema. O suporte da AMD melhorou bastante e hoje é bem viável pra inferência.