Com certeza, eu já estou testando e realmente é mais rápido mesmo. Mas você só percebe a diferença se for uma aplicação, não mais complexa, mas sim uma aplicação maior, cheias de componentes, libs ou com muitas coisas rodando ao mesmo tempo.
Respondendo a "Era só uma questão de tempo, porque o Babel foi..." dentro da publicação SWC: O Compilador que Está Acelerando a Stack JavaScript com Rust
1