Como comentado aqui é mais rápido para o meu caso de uso, se quiser ver como eles desenvolveram https://github.com/FFmpeg/FFmpeg/blob/master/libavfilter/af_silencedetect.c consegue comparar as implementações. E pode rodar um comparativo na sua maquina (eu apoio). O FFmpeg precisa suportar todos os formatos de audio, eu otimizei tudo pra .WAV 16 bits.