Achei bem interessante o seu ponto de vista, e concordo! Mas dando meus 10 centavos de contribuição. Passei por vários projetos desde pequenos projetos pessoais para portfólio quanto projetos para empresas gigantes como Porsche, Via Varejo, etc... E o que eu posso dizer é que arquitetura importa desde o dia 1.

É sempre importante se preocupar com arquitetura desde o início, não acredito que você deva implementar a risca todos os design patterns existentes, montar uma baita infra robusta pronta para escalar no dia 1 (caso seu projeto seja para uma empresa pequena ou em fase de MVP) mas acredito que existe um mínimo aceitável para poder entregar um software com qualidade.

A qualidade é sim muito importante desde o início, pois com isso você resolve os principais problemas de um produto que normalmente está relacionado com a entrega de valor de forma ágil. Quando você ou o seu time for consertar bugs e problemas é importante que tenhamos um código bem escrito e estruturado.

Software é uma entidade viva, requer cuidado e nunca estará perfeito!