Eu concordo contigo, mas preciso fazer algumas considerações.

Realmente ninguém fica cronometrando um site e vendo quanto tempo demora pra abrir, mas no geral isso não é falado em relação apenas à primeira entrada. Se a primeira página demora, as outras também vão demorar (menos porque o roteador já tem o caminho até o servidor do site, mas ainda assim vai demorar por causa da falta de otimização do site). Se o site for single page (como um hotsite ou uma simples landing page), esquece o que eu falei.

Não é que não ter uma pontuação alta seja pecado, mas pode (nem sempre) significar desleixo e mediocridade. Se você sabe fazer o site mais rápido e não está muito longe de conseguir, por que não fazer? Nem todas as vezes vai estar não muito longe de conseguir.

Site altamente otimizado não é santo graal (como você bem disse mostrando outras coisas que podem ser mais importantes), mas pode ser um objetivo concreto (do negócio ou do profissional).

Outra coisa, performance não deve ser vista somente número para validar ego, mas também como acessibilidade: se um site é rápido para conexões mais lentas, eu tendo a chegar num público maior que poderia desistir de acessar por conta de pacotes de dados ou por estar numa rede ruim.

Performance não é tudo, como você bem deixou explícito, mas ser pragmático demais também tem seus trade-offs.