Rapaz, essa parte do AWK eu não conhecia, pelo menos pela internet eu só vejo python para ciência de dados, mas já vi também Julia, porém não é tão popular. Pelo menos nos lugares que vi.
Então na parte de pipeline quem manda é o JAVA?