Concordo em partes com alguns pontos, mas acredito que você, como um desenvolvedor backend, saber como o usuario utiliza a aplicação e como pode otimizar pontos para que as respostas possam ser mais rápidas, e entregar os dados que sejam realmente necessários para o usuário, afeta diretamente a experiencia que ele tem com seu produto.
A questão do site lento, é só um exemplo em relação a como o usuário pode interagir, mas as vezes, o backend ou api enviar dados a mais ou a menos que o necessário podem interferir.
Não é só o visual que afeta o usuário, mas o tempo, a sensação que ele tem, o que ele espera, coisas do gênero.
Você pode também ter um puta Front com um tratamento de situações e estados sensacionais, mas um backend ou apí que não trate situações muito bem também.
Não é pra ser uma guerra, mas sim os dois em conjunto entregarem o melhor para o usuário.