Meus 2 cents,

Vou compartilhar um segredo, mas nao conta para ninguem: todo Agente roda localmente, independente da maquina que voce tiver !

O que nao roda localmente eh o modelo LLM que voce usa - por isso geralmente pedem chave de API.

Outro segredo: se voce quiser rodar tambem o modelo LLM localmente, voce pode usar o Ollama, LM Studio ou AnythingLLM: eles permitem voce escolher o modelo e baixar, mas tem algumas limitacoes:

• se voce nao tem GPU Potente, tem de escolher modelos "quantizados"

• Pesquise por: Llama 3.1 8B GGUF ou Mistral 7B GGUF. Procure pelos perfis de usuários como Bartowski, MaziyarPanahi ou TheBloke (gurus dos GGUFs).

• Modelos 7B ou 8B: m 4-bit (Q4), eles usam ~5GB de RAM/VRAM (p.ex. Llama-3.1-8B-Instruct-GGUF)

Outro segredo: nao rode na sua maquina de producao, use um docker, LXC ou VPS - se ele fizer merda, nao vai ser tao feio.

Mais um segredinho: olhe no openrouter.ai e procure modelos FREE, eles permitem chave de API sem custo (nao eh muito rapido, mas de gratis e para testar ta valendo )

Saude e Sucesso !