Depende muito. Na maior parte das vezes abrir um site e ficar carregando lentamente nem sempre é o backend o problema. Pode ser até um problema fora do escopo do projeto envolvendo DNS. O mesmo a conexão do usuário. Mesmo o Front-end que não sabe lidar com cache adequadamente, session storage etc...
UX é um conceito que faz mais sentido para front-end do meu ponto de vista. Mas pode ser que eu esteja preso num paradigma.
Cores, organização, tipografia, essas coisas que UX geralmente trabalha em cima. O usuário que um feedback para o que tá acontecendo. E na maior parte das vezes uma pagina de load já é o suficiente.
Se a pagina de load fica mais de 2 segundos ou algo do tipo, o problema não é de UX e sim que arquitetura por parte do backend ou como esses valores estão sendo manipulados pelo o Front-end.