Eu fiz uma lib que facilita a usar ollama (o clientai), tem bastante documentação se quiser dar uma olhada.

Eu criei inicialmente exatamente por esse motivo, poder desenvolver com uma LLM local pra depois usar alguma API pra quando colocar em produção