Em vez do (.*?), também poderia ser ([^)]*).
No caso, o [^)] é "qualquer caractere que não seja parênteses" e o * indica "zero ou mais ocorrências". Pode trocar por + se quiser que tenha pelo menos um caractere.
Claro, isso funciona somente se não tem nenhum parênteses no conteúdo, antes do ))) final.
Ou seja, a expressão inteira ficaria:
TO_UPPER\(remove_acento\(REMOVE_ESPACOS_DUPLICADOS\(([^)]*)\)\)\)