모델과 기술

IndexTTS 2: 음색과 감정을 별도로 제어하는 복제 모델

Bilibili IndexTTS 2는 화자 정체성과 감정 표현을 분리합니다. 같은 캐릭터 목소리를 유지하면서 다른 녹음, 수동 강도나 문장 설명으로 연기를 지정할 수 있어 대화와 극적인 내레이션에 구체적인 편집 방법을 제공합니다.

Bilibili · IndexTTS 팀자료 확인일
공식 GitHub
개발팀
bilibili IndexTTS
대상 버전
v2.0.0 / IndexTTS-2
감정 입력
오디오·8차원 벡터·텍스트
추론 진입점
indextts.infer_v2.IndexTTS2

주목할 장점

01

음색과 감정 참조를 각각 제공

화자 참조는 음색을, 감정 참조는 연기를 지정합니다. 같은 화자가 모든 감정을 연기한 녹음이 없어도 새로운 조합을 시험할 수 있습니다.

공식 출처 [2]
02

여덟 감정 강도 조합

기쁨, 분노, 슬픔, 두려움, 혐오, 우울, 놀람, 차분함의 벡터로 원하는 감정 구성을 명시합니다.

공식 출처 [1]
03

감정만 따로 문장으로 지시

대사에서 감정을 추정하거나 별도의 감정 설명을 제공해 대본과 연기 지시를 독립적으로 수정할 수 있습니다.

공식 출처 [1]

논문 기능과 공개 기능 구분

논문은 정밀 길이 제어를 제안하지만 v2.0.0은 아직 활성화되지 않았다고 명시합니다. 따라서 이 공개 버전이 초 단위 입력으로 영상에 정확히 맞춘다고 설명하지 않습니다.

공식 출처 [1]

대사에 맞는 감정 강도

공개 예제는 emo_audio_prompt, emo_vector와 emo_text를 제공합니다. 강한 감정에서는 발음과 연속성도 확인해야 하며 텍스트 모드는 완만한 강도부터 시도하는 편이 좋습니다.

중국어 한자·병음 혼합 교정도 유지되지만 유효한 병음 어휘 범위에서 동작합니다.

공식 출처 [1]

사용 및 배포

  1. Git, Git LFS, uv와 지원하는 GPU/PyTorch 환경을 준비합니다. 아래 명령은 예제에 맞게 v2.0.0을 고정합니다.
  2. WebUI 의존성과 IndexTeam/IndexTTS-2를 checkpoints로 받습니다. 첫 실행에 보조 모델을 추가 다운로드할 수 있습니다.
  3. uv run webui.py로 화자 참조와 감정 입력을 선택합니다. 코드 연동은 해당 버전 IndexTTS2 예제를 사용합니다.
IndexTTS 2bash
git clone --branch v2.0.0 https://github.com/index-tts/index-tts.git
cd index-tts
git lfs install
git lfs pull
uv sync --extra webui
uv tool install 'huggingface-hub[cli]'
hf download IndexTeam/IndexTTS-2 --local-dir checkpoints
uv run webui.py

사용 전 알아둘 점

  • v2.0.0, 이후 2.x와 논문의 실험 기능을 하나의 실행 가능 기능 집합으로 보지 마세요.
  • 무작위 샘플링은 복제 유사도를 낮출 수 있으므로 감정 조정 시 음색 일치와 명료도도 비교합니다.

적합한 활용 사례

게임 캐릭터, 감정 대사, 오디오북과 같은 화자가 여러 감정을 표현하는 작업에 적합합니다.

공식 자료와 출처

  1. IndexTTS · v2.0.0 READMEhttps://github.com/index-tts/index-tts/tree/v2.0.0
  2. IndexTTS2 · Technical paperhttps://arxiv.org/abs/2506.21619
  3. IndexTeam/IndexTTS-2 · Model weightshttps://huggingface.co/IndexTeam/IndexTTS-2

DS Speech는 현재 Qwen-Audio-3.0-TTS를 온라인으로 제공합니다. 다른 모델의 소개, 명령과 링크는 학습과 자체 배포를 위한 자료입니다.

다른 음성 모델 알아보기

Qwen-Audio-3.0-TTS자연어로 말투, 감정과 방언 제어OmniVoice넓은 언어 범위와 짧은 참조 음성 복제IndexTTS 1.5안정적인 중국어·영어 복제와 중국어 발음 수정VoxCPM연속 음성 표현·문맥·고해상도 오디오