É que depende de quanto de VRAM ta liberado. o padrão do vast.ai é 24gb, o que já da para fazer bastante coisa. E para rodar só precisa do software como um ollama para texto, whisper, etc.

Se você tiver em casa uma 4070 de 16gb-24gb. e 16gb de ram na cpu. Acredito que consiga rodar alguns llms auxiliares, não sei qual modelo agora ajuda, mas já vi rodarem: https://x.com/analogalok/status/2092697021790708148
"The VRAM barrier is officially dead.

I just ran Qwen 3.8 Flash Next (MoE) 125B A6B with a 250,000 context window on a single 24GB RTX 4090.

21 tokens/sec decode. 364 t/s prefill. "

Depende e depende, recomendaria jogar na IA, se ela te responder corretamente ou fizer testes, me informe aqui, adoraria saber se conseguiu. Eu mesmo ainda não tenho nem uma placa de vídeo.