Perguntei em português para 4 modelos abertos com ferramentas MCP sobre a minha conta de GPU: 19 de 20 certas, e os detalhes que importam
Escrito pelo time da Runcrate, usando a nossa própria API.
Agente de IA mexendo em infraestrutura dá medo. Antes de deixar um agente criar máquina com GPU, eu queria saber uma coisa mais básica: ele consegue ler a conta direito quando a pergunta vem em português?
Então montei um teste pequeno e verificável. Tudo rodou em 2026-10-24.
O teste
- 4 modelos abertos: DeepSeek-V4.1-Flash, GLM-5.3-Flash, gpt-oss-120b e Qwen3.8-Flash.
- Só ferramentas de leitura: os 27 tools do servidor MCP da Runcrate marcados como
readOnlyHint. Nenhum tool que cria, altera ou apaga nada. - 5 perguntas em português, cada uma com resposta conferível na API REST logo depois:
- Qual é o meu saldo de créditos atual?
- Tenho alguma instância de GPU rodando agora? Se sim, quais?
- Meu job chamado e003-gpu-bench: em qual GPU ele rodou, em qual região, e deu certo?
- Quantos segundos o comando do meu job e003-gpu-bench rodou, do início ao fim?
- Qual é a faixa de preço por hora de uma única H100 agora (menor e maior)?
- O system prompt (em inglês) pede para responder no idioma do usuário. Até 8 turnos por pergunta.
O harness é o mesmo de um teste anterior em inglês: pego a lista de tools do MCP, filtro os de leitura e entrego como function tools normais da API da OpenAI.
TOOLS = [t for t in mcp.rpc("tools/list")["tools"] if (t.get("annotations") or {}).get("readOnlyHint")]
FUNCS = [{"type": "function", "function": {"name": t["name"], "description": t["description"][:1000],
"parameters": t.get("inputSchema")}} for t in TOOLS]
Resultado em português
| Modelo | Respondidas | Certas (conferido à mão) | Chamadas de tool | Tempo total | Custo das 5 |
|---|---|---|---|---|---|
| gpt-oss-120b | 4 de 5 | 4 | 5 | 20,3 s | US$ 0,00057 |
| DeepSeek-V4.1-Flash | 5 de 5 | 5 | 6 | 28,1 s | US$ 0,00201 |
| Qwen3.8-Flash | 5 de 5 | 5 | 7 | 44,7 s | US$ 0,00135 |
| GLM-5.3-Flash | 5 de 5 | 5 | 6 | 50,9 s | US$ 0,00264 |
19 de 20 respondidas, as 19 certas. A que faltou foi do gpt-oss-120b na pergunta do saldo: a resposta da API veio sem o bloco usage e o meu harness tratou como falha. No teste em inglês ele tinha acertado as 5.
Os detalhes que importam
"Quanto tempo rodou?" tem duas respostas certas. O GLM-5.3-Flash, o DeepSeek e o Qwen leram o log do job e responderam 12,25 segundos (do PHASE cmd_start ao PHASE cmd_end que o meu script imprime). O gpt-oss-120b leu o registro do job e respondeu 22,129 segundos (started_at até ended_at). Os dois estão certos; a diferença é o tempo que a máquina gasta em volta do comando, por exemplo subindo o arquivo de resultado. O Qwen ainda explicou as duas contagens sem eu pedir. Se você for avaliar agente automaticamente, defina antes qual das duas você quer.
Quem citou o custo disse "US$ 0". DeepSeek e Qwen mencionaram o custo sem eu pedir, e os dois disseram zero. O job custou US$ 0,0033 segundo o extrato de cobrança: o campo cost_usd do job vem arredondado para centavos, e os modelos repetiram o número arredondado.
O português de um deles não era bem o nosso. O DeepSeek respondeu "O seu saldo atual é de 34,82 créditos (sem custos de utilização ativos neste momento)". Correto, mas com cara de português de Portugal ("O seu saldo", "utilização"). Os outros três responderam no português do Brasil ("Seu saldo", "uso", "rodou"). Se o seu produto conversa com cliente brasileiro, vale fixar "português do Brasil" no system prompt.
Preço ao vivo muda no meio do teste. A faixa de uma H100 sozinha veio de US$ 3,55 a US$ 7,79 por hora para os quatro. Na rodada em inglês, meia hora antes, três modelos tinham visto US$ 3,88 como menor preço. Conferi de novo no feed de preços (/api/gpu-pricing) às 22:13 UTC de 2026-10-24: H100 de US$ 3,55 a US$ 7,79 por hora.
Português vs inglês
| Inglês (mesmas perguntas) | Português | |
|---|---|---|
| Respondidas | 20 de 20 | 19 de 20 |
| Certas entre as respondidas | 20 | 19 |
| Custo total dos 4 modelos | US$ 0,0065 | US$ 0,0066 |
Para perguntas de leitura sobre a conta, perguntar em português não piorou a qualidade nem o custo. O risco continua o mesmo de antes: o que o modelo acrescenta sem você pedir, e números arredondados que ele repete com toda a confiança.
Se quiser montar o mesmo teste no seu Claude Code, Codex ou Cursor, a página de setup do MCP tem a instalação, e a lista de tools mostra quais são só leitura.
Escrito com ajuda de IA. Todos os números acima foram medidos em 2026-10-24 e conferidos à mão com a API.