Eu não acho que compensa, por que você vai precisar de energia funcionando o tempo todo, fora que tem a refrigeração do ambiente e na sua casa ou empresa pode ficar sem energia devido a problemas técnicos e com isto sua IA não roda, fora que se estragar alguma peça, ai vai prejuízo e também não deve rodar em questão de segundos também né.
Eu acho que ainda não compensa usar localmente, pelo menos é o que eu penso.