"O que é Ollama e como executar modelos de IA no seu computador"

Se você quer experimentar modelos de linguagem sem mandar suas conversas para um serviço externo, o Ollama oferece um caminho direto: baixar um modelo aberto e executá-lo no seu próprio computador. Neste resumo, você vai entender o que ele faz, como pensar no fluxo de uso, quais são as vantagens e os limites da execução local e que tipo de hardware influencia a escolha.

Ollama em poucas palavras

O Ollama é uma ferramenta para baixar, gerenciar e executar modelos de linguagem grandes localmente. A comparação com Docker ajuda a entender a proposta: no Docker você baixa e inicia contêineres; no Ollama, baixa e inicia modelos. Os comandos do capítulo ilustram essa semelhança:

docker pull nginx
ollama pull llama3.2
docker run nginx
ollama run llama3.2
docker ps
ollama ps

O paralelo também inclui o Modelfile, que ocupa um papel semelhante ao Dockerfile na configuração de modelos. A ideia prática é ter uma ferramenta familiar para obter e executar um modelo sem montar toda a infraestrutura de inferência à mão.

O caminho de uma pergunta

Ao rodar um modelo, o serviço Ollama fica em segundo plano e escuta na porta 11434. Se o modelo solicitado ainda não estiver no computador, ele é baixado; em seguida, é carregado na memória da placa de vídeo ou na memória do sistema. O mecanismo de inferência produz a resposta e a envia aos poucos ao terminal ou à API.

Depois do download, o modelo fica guardado no disco e pode ser usado sem conexão com a internet. Isso é útil em viagens, ambientes sem rede ou quando você prefere que o conteúdo dos seus testes permaneça na máquina. O Ollama também disponibiliza uma API HTTP, então uma aplicação, interface web ou outra ferramenta pode chamar o serviço em vez de você conversar só pelo terminal.

Mais do que um chat

Conversar é apenas um uso possível. Dependendo do modelo, dá para analisar imagens, reconhecer texto nelas e obter ajuda com código. Também é possível gerar embeddings, isto é, vetores que representam textos e apoiam buscas semânticas e fluxos de RAG, nos quais as respostas se baseiam em documentos fornecidos.

Isso torna o Ollama interessante para protótipos e ferramentas locais: você pode integrar um modelo a um programa e explorar tarefas como resumir, traduzir, classificar ou extrair informações. A capacidade disponível depende do modelo escolhido, e nem todo modelo oferece as mesmas funções. Para analisar imagens, por exemplo, é preciso escolher um modelo com recursos de visão.

Local ou nuvem: o que muda

Na execução local, os dados ficam no computador e você pode trabalhar offline depois de baixar o modelo. O custo direto não é uma assinatura por chamada, embora exista o consumo de eletricidade e o investimento no hardware. Em contrapartida, você cuida da configuração e da manutenção, e o desempenho varia conforme a máquina.

Serviços na nuvem dispensam essa manutenção e geralmente dão acesso aos modelos mais avançados, mas dependem de conexão e enviam os dados ao provedor. Os melhores modelos locais ainda ficam atrás dos melhores serviços de nuvem. Mesmo assim, modelos abertos de porte médio já dão conta de tarefas cotidianas, como resumir, traduzir, classificar conteúdo e ajudar a programar. A escolha depende do equilíbrio entre privacidade, conveniência, capacidade e velocidade que faz sentido para você.

Memória define o tamanho possível

O principal limite do computador é a memória, sobretudo a VRAM da placa de vídeo. Como referência aproximada para versões quantizadas comuns de 4 bits, uma máquina com 8 GB de memória e sem GPU dedicada tende a executar modelos pequenos de 1B a 4B, com mais lentidão. Um Mac com Apple Silicon e 16 GB ou uma NVIDIA com 8 GB de VRAM pode atender modelos de 7B a 8B. Com 16 a 24 GB de VRAM, a faixa indicada passa a 14B a 32B; Macs com mais de 32 GB de memória unificada podem executar modelos da classe 30B.

Esses números são estimativas, não garantias de velocidade. NVIDIA tem suporte mais abrangente e tende a ser mais rápida; Macs com Apple Silicon aproveitam a memória unificada para modelos maiores. Há suporte a algumas placas AMD. Usar somente CPU também funciona, mas é consideravelmente mais lento e combina melhor com modelos pequenos. Por isso, vale escolher o modelo pelo uso pretendido e pelos recursos reais da máquina.

Resumo

• Ollama baixa, gerencia e executa modelos abertos no computador, com uma experiência de comandos simples.
• O serviço local pode atender terminal e aplicações por uma API HTTP, além de permitir uso offline após o download.
• Modelos podem conversar, trabalhar com código, analisar imagens ou gerar embeddings, conforme seus recursos.
• Privacidade e uso offline são vantagens locais; hardware, manutenção e capacidade do modelo são limites a considerar.
• Memória disponível, especialmente VRAM, orienta o tamanho de modelo que tende a funcionar bem.

O capítulo completo, com todos os comandos e saídas, está na fonte deste post.