Agora é a hora de começar a testar o Spark com python, o problema não é o banco em si, eu vi mais abaixo como você resolveu o problema. Mas considere utilizar um spark sql ou com python em um notebook jupyter provisionado com docker compose.