모델과 기술

VoxCPM: ModelBest와 칭화대의 연속 음성 생성

VoxCPM은 ModelBest와 칭화대학교 THUHCSI가 공동 개발해 OpenBMB에 공개했습니다. 확산 자기회귀 방식으로 연속 음성 표현을 만들며 텍스트 문맥, 운율과 음향 세부 정보가 말투에 반영되는 경로를 유지합니다.

ModelBest · 칭화대학교 THUHCSI자료 확인일
공식 GitHub
개발팀
ModelBest·THUHCSI
구조
연속 음성·확산 자기회귀
VoxCPM 1.5
중국어·영어, 44.1 kHz
VoxCPM2
30개 언어, 48 kHz

주목할 장점

01

텍스트 문맥으로 전달 방식 구성

의미와 음향을 계층적으로 모델링하며 연속 음성의 세부를 보존해 원고에 맞는 운율을 지향합니다.

공식 출처 [2]
02

1.5의 이중 언어 오디오 개선

44.1 kHz 출력과 내부 토큰 속도 축소를 적용하고 SFT와 LoRA 조정을 제공합니다.

공식 출처 [3]
03

2의 디자인과 제어 복제

30개 언어, 48 kHz와 자연어 음성 디자인·제어 복제를 추가합니다. 이 기능은 1.5에 소급 적용되지 않습니다.

공식 출처 [5]

목적에 따라 다른 참조 방식

2 버전은 참조 오디오만으로 음색을 복제하거나 정확한 전사와 함께 제공해 원래 리듬과 스타일을 이어가는 생성도 가능합니다.

디자인은 문장만으로 새 음색을 만들고 제어 복제는 참조 화자를 유지하며 표현을 지시합니다.

공식 출처 [1]

모델 ID와 출력 샘플레이트 고정

VoxCPM-0.5B, VoxCPM1.5, VoxCPM2는 언어와 출력 및 기능이 다릅니다. ID를 명시하고 파일 저장은 model.tts_model.sample_rate를 사용하세요.

공식 출처 [4]

사용 및 배포

  1. 지원하는 Python, PyTorch와 장치를 준비하고 GPU/CUDA, CPU 또는 Apple Silicon 경로를 공식 안내에서 확인합니다.
  2. voxcpm을 설치하고 openbmb/VoxCPM2를 명시적으로 로드합니다. 1.5가 필요하면 해당 ID와 API를 사용합니다.
  3. 아래 짧은 문장 생성을 확인한 후 공식 WebUI, 배치, 스트리밍과 서비스 배포 문서로 확장합니다.
VoxCPMbash
python -m venv .venv
source .venv/bin/activate
pip install voxcpm
VoxCPM2python
import soundfile as sf
from voxcpm import VoxCPM

model = VoxCPM.from_pretrained("openbmb/VoxCPM2", load_denoiser=False)
wav = model.generate(text="Hello, welcome to the voice model library.")
sf.write("output.wav", wav, model.tts_model.sample_rate)

사용 전 알아둘 점

  • 44.1 kHz와 48 kHz는 샘플레이트이며 품질이 낮은 참조에서도 고충실도 결과를 보장하는 수치는 아닙니다.
  • 2의 다국어, 디자인과 제어 복제를 1.5의 기능으로 기록하면 안 됩니다.

적합한 활용 사례

음성 세부, 문맥 표현과 자체 호스팅을 중시하며 이중 언어 버전과 새 다국어 버전을 구분해 선택할 개발자에게 적합합니다.

공식 자료와 출처

  1. OpenBMB/VoxCPM · READMEhttps://github.com/OpenBMB/VoxCPM
  2. VoxCPM · Technical paperhttps://arxiv.org/abs/2509.24650
  3. VoxCPM 1.5 · Version guidehttps://voxcpm.readthedocs.io/en/latest/models/voxcpm1.5.html
  4. VoxCPM · Quick starthttps://voxcpm.readthedocs.io/en/latest/quickstart.html
  5. VoxCPM2 · Technical reporthttps://arxiv.org/abs/2606.06928

DS Speech는 현재 Qwen-Audio-3.0-TTS를 온라인으로 제공합니다. 다른 모델의 소개, 명령과 링크는 학습과 자체 배포를 위한 자료입니다.

다른 음성 모델 알아보기

Qwen-Audio-3.0-TTS자연어로 말투, 감정과 방언 제어OmniVoice넓은 언어 범위와 짧은 참조 음성 복제IndexTTS 1.5안정적인 중국어·영어 복제와 중국어 발음 수정IndexTTS 2같은 음색으로 다른 감정 연기