Você mencionou que a ortogonalidade reduz o esforço de memória (menos exceções). Isso é verdade, mas existe um "ponto de virada".

Se cada recurso pode ser combinado com qualquer outro, a linguagem pode se tornar complexa demais. O ALGOL 68 é o exemplo clássico: era tão ortogonal que se tornou difícil de implementar e de entender.

A ortogonalidade deve servir à legibilidade. Se a liberdade de combinação gerar códigos "mágicos" ou ilegíveis, ela fere o propósito de facilitar a manutenção.