Olá,

Sim, você pode tunar em cima de qualquer modelo.

Geralmente o tunning é feito em cima de modelos menores mas que entendam pelo menos o idioma que você vai usar, assim ele sabe a gramática etc.

A ideia geral é que os algoritmos recentes conseguem a partir de um texto entender a relação entre as palavras com o que foi chamado de "attention" (https://en.wikipedia.org/wiki/Attention_(machine_learning)).

Esse que eu usei (pierreguillou/gpt2-small-portuguese) foi treinado com dados da Wikipedia (https://huggingface.co/pierreguillou/gpt2-small-portuguese).

Então ele já sabe construir frases em português, só precisa de tunning para entender os seus dados.

Para usar no Ollama, você precisa gerar um modelo compatível (modelo GGUF) e adicionar nele um novo Modelfile (https://github.com/ollama/ollama/blob/main/docs/modelfile.md). Algo como:

FROM ./my-model.gguf
PARAMETER temperature 0.7

e

ollama create mymodel -f Modelfile
ollama run mymodel

Abraços.