1

Sobre a falha intermitente que vocês não conseguiram reproduzir: vale olhar se tem algum proxy no caminho cortando por inatividade. Sem streaming e com contexto grande, o fornecedor pode demorar bastante até mandar o primeiro byte, e load balancer ou CDN com timeout de ociosidade derruba a conexão só nas requisições mais pesadas daquele usuário (no Cloudflare com proxy ligado, por exemplo, é 100 segundos e volta um 524). Em teste curto isso nunca aparece.

Logar o tempo até o primeiro byte junto do request id ajuda a ver se as falhas se concentram perto de um número redondo.

Carregando publicação patrocinada...
1

Fui revisar os logs e encontrei duas requisições não streaming que falharam com HTTP 524, ambas exatamente após 125 segundos, usando o mesmo modelo e canal upstream.

Também encontrei erros 502 em outro provedor, mas esses aconteceram em apenas 2–4 segundos, então parecem ser problemas diferentes.

0

Agora estamos investigando em qual ponto da cadeia ocorre esse timeout de 125 segundos, além de revisar os logs dos proxies e fornecedores.

Sua dica ajudou bastante. Muito obrigado!

1

o 524 é código do próprio Cloudflare, então tem um Cloudflare em algum ponto dessa cadeia. como 125s não bate com os 100 do padrão, pode ser até o do fornecedor upstream, com timeout configurado diferente, e o gateway só repassando o status. vale ver se a resposta de erro traz header cf-ray e de qual host ela vem.

se for do lado do fornecedor, o jeito é usar streaming nessas requisições longas, porque aí os bytes começam a chegar antes do corte.

1

Boa observação! Ainda não tínhamos considerado que o 524 poderia estar vindo do Cloudflare do próprio fornecedor upstream.

Vamos verificar o header cf-ray e a origem da resposta para identificar em qual camada ocorre o timeout.

Também vamos avaliar o uso de streaming nas requisições mais longas.

Muito obrigado pela ajuda e pela análise detalhada!

1

boa, o cf-ray já deve mostrar onde tá o corte. e o streaming ajuda de qualquer jeito, seja o timeout do lado de vocês ou do fornecedor.