O sistema é em Flash/Flex ou usa uma tecnologia tipo canvas para desenhar as coisas na tela?

Porque o PyAutoGUI está instável? O tamanho da tela muda? A questão das coordenadas, se for usar outra coisa vai ter o mesmo problema.

Como o colega Nilzao citou, eu também lembro de softwares para gerar bots para jogos. Não vou lembrar os nomes da época.

Pesquisando rápido encontrei gravadores de macro como https://www.jitbit.com/macro-recorder/, https://www.macrorecorder.com/ ou https://www.pymacrorecord.com/. Você pode pesquisar mais e encontrar resultados melhores.