模型与技术

IndexTTS 2:B 站把音色与情绪分开控制的声音克隆模型

IndexTTS 2 由 B 站 IndexTTS 团队发布,最鲜明的变化是把“谁在说”和“带着什么情绪说”拆开处理。角色音色可以保持一致,情绪则来自另一段参考录音、人工设置的情绪强度或文字描述,这对对白和有声故事比泛泛的“更自然”更有价值。

哔哩哔哩 · IndexTTS 团队资料核对日期
官方 GitHub
研发团队
bilibili IndexTTS
本文版本
v2.0.0 / IndexTTS-2
情绪入口
参考音频、八维向量、文字描述
推理入口
indextts.infer_v2.IndexTTS2

值得关注的优势

01

声音身份与情绪分别提供

音色参考负责说话人身份,情绪参考负责表演方式。无需寻找同一个人恰好说过愤怒或悲伤的录音,也能尝试新的情绪组合。

官方来源 [2]
02

八种情绪可以组合强度

公开接口支持快乐、愤怒、悲伤、恐惧、厌恶、低落、惊讶、平静八个维度;通过向量输入可以明确调节组合,而非完全依赖样本猜测。

官方来源 [1]
03

文字也能引导情绪

可以根据台词自动推断情绪,也可以另写情绪描述,把剧情文本与表演指示分开,便于逐句调整对白。

官方来源 [1]

论文能力与发布能力要分开看

IndexTTS2 论文提出精确时长控制,但 v2.0.0 发布说明明确写着该功能尚未开放。因此,本页不把“输入秒数即可精准对齐视频”当成该公开版本可用的功能。

官方来源 [1]

让情绪强度服务台词

公开示例通过 emo_audio_prompt、emo_vector 或 emo_text 等不同入口控制情绪。情绪强度过高时仍需试听发音与连贯性;官方对文字情绪模式建议使用较温和的强度。

中文纠音继续采用汉字与拼音混合输入,但只支持有效拼音词表中的组合。

官方来源 [1]

使用与部署

  1. 安装 Git、Git LFS 和 uv,并根据官方说明准备支持的 GPU/PyTorch 环境。下面固定检出 v2.0.0,避免与后续版本混用。
  2. 同步 WebUI 依赖并下载 IndexTeam/IndexTTS-2 到 checkpoints。第一次启动还可能下载其他辅助模型,需要保证模型下载源可访问。
  3. 运行 uv run webui.py,再选择音色参考和情绪控制方式。需要代码集成时按该版本的 IndexTTS2 示例调用。
IndexTTS 2bash
git clone --branch v2.0.0 https://github.com/index-tts/index-tts.git
cd index-tts
git lfs install
git lfs pull
uv sync --extra webui
uv tool install 'huggingface-hub[cli]'
hf download IndexTeam/IndexTTS-2 --local-dir checkpoints
uv run webui.py

使用前需要了解

  • 不要把 v2.0.0、后续 2.x 版本和论文实验的全部功能视为同一个可运行版本。
  • 公开示例提示随机采样可能降低复刻相似度,调节情绪时应同时对比音色一致性与文本清晰度。

适合什么场景

适合游戏角色、情绪对白、有声故事,以及需要同一音色演绎多种情绪的配音流程。

官方资料与出处

  1. IndexTTS · v2.0.0 READMEhttps://github.com/index-tts/index-tts/tree/v2.0.0
  2. IndexTTS2 · Technical paperhttps://arxiv.org/abs/2506.21619
  3. IndexTeam/IndexTTS-2 · Model weightshttps://huggingface.co/IndexTeam/IndexTTS-2

DS Speech 当前提供 Qwen-Audio-3.0-TTS 在线功能;资料库中其他模型的介绍、命令和链接用于帮助读者了解与自行部署。

继续了解其他模型

Qwen-Audio-3.0-TTS用自然语言塑造语气、情绪与方言OmniVoice大规模语言覆盖与短音频声音克隆IndexTTS 1.5稳定中英文复刻与中文多音字纠音VoxCPM连续语音表示、上下文表达与高采样率输出