O problema desta postagem é que ela prioriza modelos generalistas de IA. Eu acredito que o mais correto de se rodar localmente seria modelos de IA específicos de domínio, que são modelos que são especializados em um determinado assunto e entregam mais porque todo o sistema por trás é voltado apenas à um único objetivo, diferente dos modelos generalistas, que tentam tratar de muito assuntos e acabam pecando quando perguntados sobre algo mais profundo.

Nesta lógica, você faz uma relação direta com o modelo de LLM e o hardware de baixo processamento.