Tenho uma aplicação que baixa arquivos de um bucket e processa. Os arquivos podem ter até 4GiB, o processo é exatamente esse:

• Baixa do bucket para a pasta /tmp
• Processa o arquivo local
• Salva um segundo arquivo resultante (imagem) em disco
• envia do disco para o bucket