Estou mexendo com IA há algum tempo e criei um interpretador de imagens para meu serviço de IA e o que posso te dizer é:

Google tem o interpretador de imagens e áudio mais performático disponível.

Só isso que você precisa. Tanto faz se vai usar pelo Vertex AI ou pela API diretamente. Alguns modelos mudam um pouco o interpretador:

• Série Gemini 2.5: é o mais avançado para segmentação: eles conseguem separar "assuntos" de imagens e retorna na API um retângulo para cada um (posição e tamanho).
• Série Gemini 2.0: é o melhor para menores detalhes, pois eles tem o tal do zoomed reframing, que meio que o modelo dá um zoom em detalhes pequenos para ler conteúdo escondido.

Não cheguei a testar a multi-modalidades dos modelos Gemini 1.5. Além disso, os resultados da interpretação mudam de nível de modelo, por exemplo: o Gemini 2.5 Pro vai ter uma interpretação muito mais detalhada do que o Gemini 2.5 Flash Lite.

Sobre os modelos Llama 4 - você pode rodar pelo groq - mas não faça isso: os modelos Llama 4 são péssimos. Eles tem um desempenho muito inferior à qualquer outro modelo existente.