Fui revisar os logs e encontrei duas requisições não streaming que falharam com HTTP 524, ambas exatamente após 125 segundos, usando o mesmo modelo e canal upstream.
Também encontrei erros 502 em outro provedor, mas esses aconteceram em apenas 2–4 segundos, então parecem ser problemas diferentes.
Agora estamos investigando em qual ponto da cadeia ocorre esse timeout de 125 segundos, além de revisar os logs dos proxies e fornecedores.
Sua dica ajudou bastante. Muito obrigado!
o 524 é código do próprio Cloudflare, então tem um Cloudflare em algum ponto dessa cadeia. como 125s não bate com os 100 do padrão, pode ser até o do fornecedor upstream, com timeout configurado diferente, e o gateway só repassando o status. vale ver se a resposta de erro traz header cf-ray e de qual host ela vem.
se for do lado do fornecedor, o jeito é usar streaming nessas requisições longas, porque aí os bytes começam a chegar antes do corte.
Boa observação! Ainda não tínhamos considerado que o 524 poderia estar vindo do Cloudflare do próprio fornecedor upstream.
Vamos verificar o header cf-ray e a origem da resposta para identificar em qual camada ocorre o timeout.
Também vamos avaliar o uso de streaming nas requisições mais longas.
Muito obrigado pela ajuda e pela análise detalhada!
boa, o cf-ray já deve mostrar onde tá o corte. e o streaming ajuda de qualquer jeito, seja o timeout do lado de vocês ou do fornecedor.