Concordo 100%. Claro que muitas vezes problemas de performance podem estar relacionados ao front, mas pela minha experiência, normalmente isso é culpa do back. E normalmente culpa da forma que a aplicação puxa dados do banco ou de dependências com API's externas.
Hoje em dia, vejo UX muito como um diferencial estratégico da empresa. Muitas vezes um app faz menos coisas que outro, mas é mais bonito e tem uma experiência de uso menos frustrante/massante, e esse segundo acaba cativando mais os usuários.
Uma coisa que lembro de ter lido na biografia do Steve Jobs, era que ele foi alguem extremamente perfeccionista. Queria que o mac fosse bonito inclusive por dentro. Os engenheiros rebatiam dizendo "Mas por que tem que ser bonito por dentro se nenhum usuario vai ver?" Mas, na cabeça do Jobs, isso fazia parte da experiência Apple. Acho que isso se conecta com a UX por parte do back, de que alguns devs back negligenciam otimizações simples que davam pra ser feitas, que fariam uma diferença grande na performance.