a melhor forma de rodar localmente sem complicações é com ferramentas como LMStudio.

simplifica muitas coisas!