o HTML geralmente é leve, então a ausência de cache não é um problema significativo.

Cache não serve apenas para economizar banda, cache serve para TTFB.

A maior parte do tempo que seu navegador utiliza para "baixar" uma página não é realmente baixando, mas sim esperando pelo conteúdo.

Olhe essa imagem capturada do acesso à um post do tabnews:

9.3ms de download, 394ms apenas esperando o servidor.

E sim, isso é do html

Então sim, cachear html importa MUITO, principalmente se seu site for estático