モデルと技術

IndexTTS 2:声の個性と感情を別々に制御

Bilibili の IndexTTS 2 は話者の個性と感情表現を分けて扱います。キャラクターの音色は固定しながら、別の録音、手動の強度指定、文章から演技を与えられるため、対話や物語の調整に役立ちます。

Bilibili · IndexTTS チーム資料確認日
公式 GitHub
開発元
bilibili IndexTTS
対象版
v2.0.0 / IndexTTS-2
感情入力
音声・8 次元ベクトル・文章
推論入口
indextts.infer_v2.IndexTTS2

注目したい強み

01

音色と感情の参照を分離

話者録音で声を、感情録音で演技を指定します。同じ話者がすべての感情を演じた録音を揃えなくても、新しい組み合わせを試せます。

公式の出典 [2]
02

8 種の感情強度を組み合わせる

喜び、怒り、悲しみ、恐れ、嫌悪、憂鬱、驚き、平静のベクトルを設定でき、狙った構成を明示できます。

公式の出典 [1]
03

感情だけの文章指示

台詞から推測する方法に加え、別の感情説明を渡せます。脚本と演技の方向を独立して編集できます。

公式の出典 [1]

論文と公開機能の範囲

論文では精密な長さ制御を提案していますが、v2.0.0 は未開放と明記しています。この公開版に対し、秒数入力だけで厳密な映像同期が可能とは説明しません。

公式の出典 [1]

台詞に合う感情強度を探す

公開例では emo_audio_prompt、emo_vector、emo_text を使います。強い感情では発音と連続性も確認し、文章モードでは控えめな強度から試します。

中国語の漢字・拼音混合入力も引き続き利用できますが、有効な拼音語彙の範囲に限られます。

公式の出典 [1]

利用・導入方法

  1. Git、Git LFS、uv と対応する GPU/PyTorch 環境を用意します。下のコマンドは v2.0.0 を指定しています。
  2. WebUI 依存と IndexTeam/IndexTTS-2 を取得します。初回起動で補助モデルの追加ダウンロードが発生する場合があります。
  3. uv run webui.py を起動して、話者参照と感情入力を選びます。コード統合は同版の IndexTTS2 の例を使います。
IndexTTS 2bash
git clone --branch v2.0.0 https://github.com/index-tts/index-tts.git
cd index-tts
git lfs install
git lfs pull
uv sync --extra webui
uv tool install 'huggingface-hub[cli]'
hf download IndexTeam/IndexTTS-2 --local-dir checkpoints
uv run webui.py

利用前に知っておくこと

  • v2.0.0、後の 2.x、論文上の実験機能を同じものとして扱わないでください。
  • ランダムサンプリングは音色の類似性を下げる場合があります。感情と同時に声の一致・明瞭さも比較します。

適した用途

ゲーム人物、感情のある台詞、物語、同じ声で複数の感情を表現する配音に向いています。

公式資料・出典

  1. IndexTTS · v2.0.0 READMEhttps://github.com/index-tts/index-tts/tree/v2.0.0
  2. IndexTTS2 · Technical paperhttps://arxiv.org/abs/2506.21619
  3. IndexTeam/IndexTTS-2 · Model weightshttps://huggingface.co/IndexTeam/IndexTTS-2

DS Speech は現在 Qwen-Audio-3.0-TTS をオンライン提供しています。ほかのモデルは学習・セルフホスト向けの資料として紹介しています。

ほかの音声モデル

Qwen-Audio-3.0-TTS自然言語で話し方・感情・方言を指定OmniVoice幅広い言語と短い参照録音からのクローンIndexTTS 1.5安定した中英クローンと中国語発音修正VoxCPM連続音声表現・文脈・高サンプルレート