1 min de leitura ·

OmniVoice é o ElevenLabs Opensource

Já estava quase assinando um projeto para usar a assinatura do Eleven Labs para clonagem de voz e geração. Mas aí pesquisando em repos e notícias chinesas eu me deparei com o o Omni Voice. Um projeto de código aberto iniciado pela Xiaomi que tinha a premissa de justamente oferecer um modelo de geração de voz aberto com a mesma qualidade dos profissionais.

Com apenas 15s de áudio eu consegui clonar com muita qualidade uma voz que no Eleven Labs só teria a mesma qualidade com o plano pro, além de muitos exemplos da pessoa. O projeto oferece suporte para mais de 600 idiomas e pode rodar tanto local, hugginface, numa GPU ou até mesmo em uma CPU.

O Omnivoice oferece tudo isso e muito mais! Esse modelo que tô compartilhando já vem com o Studio que clona, dubla, transcreve e muito mais. Você pode rodar local, via docker ou compilar um executável pro seu sistema via biblioteca Tauri e etc.

Bom, é isso pessoal! Projeto é top e pouca gente conhece.

Links: https://github.com/debpalash/OmniVoice-Studio?tab=readme-ov-file
HugginFace: https://huggingface.co/spaces/k2-fsa/OmniVoice
Site oficial: https://omnivoice.app/

Fonte: https://medium.com/p/c39606994ab0

VictorMachado

Eu estou usando ele tambem! Excelente, clone de audio e prosodio perfeitos. Rodo localmente em uma RTX 3060 12GB, as vezes da artefatos, mas a geração um um novo audio é rapido. Uma recomendação é sanitizar o texto antes, por exemplo, escrever numeros por extenso, Lady virar Leide... Mas ele foi a melhor opcao gratuita que encontrei. Google tem opcao otima no Free tier também.

lukexp

Parabens pelo excelente post, sabe me dizer que configuração de PC ele exige ou que você tenha rodado

peterson047

Autor

Rodei em uma RTX 2080, mas tem como usar só CPU ou rodar o modelo via colab e usar a GPU fornecida pelo Google.

SrProcessinho

Ótimo conteudo, sempre tive problema com o idioma Brasileiro pois a maioria delas só possuem Português de Portugal, será que essa possui o Português do Brasil.