OmniVoice：Xiaomi の 600 以上の言語に対応する音声クローン

注目したい強み

クローン・デザイン・自動音色

クローンでは参照音声とその文字起こしを使い、文章を省略した場合は Whisper が転写できます。音声デザインは性別、年齢、音高、アクセントなどの属性から作成します。

公式説明では主な学習対象はクローンです。音声デザインは中英語データで学習しており、多言語クローンとは安定性を分けて評価します。

別言語への復刻とアクセント

公式推奨は明瞭な 3～10 秒の録音です。参照と生成の言語が異なると元言語のアクセントを受け継ぐ場合があります。標準的な発音を優先するなら同じ言語の参照が適しています。

利用・導入方法

1. Git、uv、機器に合う PyTorch を準備します。公式文書には NVIDIA、Apple Silicon、Intel XPU 向けの説明があります。
2. リポジトリを取得して依存を同期し、下のコマンドで Gradio を起動します。初回に k2-fsa/OmniVoice の重みをダウンロードします。
3. 短い文章で復刻を確認後、CLI のバッチ生成や Python API に進みます。正確な文字起こしがあると発音の確認が容易です。

git clone https://github.com/k2-fsa/OmniVoice.git
cd OmniVoice
uv sync
uv run omnivoice-demo --ip 127.0.0.1 --port 8001

利用前に知っておくこと

• 600 以上の言語対応は、すべての言語で同じ品質や発音精度が得られるという意味ではありません。
• 推論速度は特定の機器と設定での測定値です。他の機器で同じ処理時間を保証するものではありません。

適した用途

多言語ローカライズ、低資源言語の検証、固定音色の再利用、自社での推論運用に向いています。

公式資料・出典

1. k2-fsa/OmniVoice · READMEhttps://github.com/k2-fsa/OmniVoice
2. OmniVoice · Technical paperhttps://arxiv.org/abs/2604.00688
3. k2-fsa/OmniVoice · Model weightshttps://huggingface.co/k2-fsa/OmniVoice