Mesmo 70KB não deveria impactar. O problema está em outro lugar.
Tente colocar seu site atrás de uma CDN pra entregar os arquivos mais rapidamente.
Cloudflare é bem facil de configurar e pode te ajudar
Respondendo a "Fiz a conversão da minha fonte de .woff para .w..." dentro da publicação [AJUDA] Fonte customizada diminui performance do site
1
1
Comprimi a fonte no fontsquirrel, resultou em um tamanho de fonte de 20 kB, e resolveu o problema. Obrigado pela ajuda!