模型与技术

VoxCPM:面壁智能与清华团队的连续语音生成路线

VoxCPM 由面壁智能与清华大学 THUHCSI 团队联合研发,并通过 OpenBMB 发布。它的技术特点是不用离散语音 tokenizer 压缩整套表达,而是结合扩散自回归建模,直接生成连续语音表示,让文本语境、韵律和声音细节共同影响输出。

面壁智能 ModelBest · 清华大学 THUHCSI资料核对日期
官方 GitHub
研发团队
ModelBest 与 THUHCSI
模型路线
连续语音表示 / 扩散自回归
VoxCPM 1.5
中英文、44.1 kHz
VoxCPM2
30 种语言、48 kHz

值得关注的优势

01

从语境推断表达

论文围绕语义与声学的分层建模,尽量保留连续语音中的细节;文本语境可以参与塑造韵律,不只逐字输出同样的朗读腔。

官方来源 [2]
02

1.5 提高中英文音频细节

1.5 把输出采样率提升至 44.1 kHz,并降低内部语言模型 token 速率,同时提供 SFT、LoRA 微调入口,适合已有中英文本地流程。

官方来源 [3]
03

2 版扩展设计与可控复刻

VoxCPM2 将范围扩展到 30 种语言、48 kHz 输出,并加入自然语言声音设计和可控声音复刻;这些能力不应倒写成 1.5 就已支持。

官方来源 [5]

两种参考方式服务不同目标

VoxCPM2 可以单独用参考音频克隆音色,也可以把参考录音与准确转写文本一起提供,采用音频续写方式保留更多原声音的韵律和风格。

声音设计不需要参考录音,而是通过文字描述创建声音;可控复刻则在保留参考音色时加入表演提示。

官方来源 [1]

固定模型 ID,避免默默换版本

VoxCPM-0.5B、VoxCPM1.5 和 VoxCPM2 的采样率、语言与调用能力不同。部署时显式填写模型 ID,输出文件使用 model.tts_model.sample_rate,避免把 2 版音频按旧采样率写入。

官方来源 [4]

使用与部署

  1. 准备支持的 Python、PyTorch 和计算设备。官方快速开始提供 pip 包安装;GPU/CUDA、CPU 或 Apple Silicon 的具体路径按当前文档选择。
  2. 安装 voxcpm 后显式加载 openbmb/VoxCPM2。下面给出最小文本转语音示例;若使用 1.5,应改为 openbmb/VoxCPM1.5 并遵循对应版本接口。
  3. 先完成本地短句合成,再按官方仓库启动 WebUI;需要批量、流式或并发服务时,继续查阅官方列出的推理与部署文档。
VoxCPMbash
python -m venv .venv
source .venv/bin/activate
pip install voxcpm
VoxCPM2python
import soundfile as sf
from voxcpm import VoxCPM

model = VoxCPM.from_pretrained("openbmb/VoxCPM2", load_denoiser=False)
wav = model.generate(text="Hello, welcome to the voice model library.")
sf.write("output.wav", wav, model.tts_model.sample_rate)

使用前需要了解

  • 44.1 kHz、48 kHz 表示输出采样率,不保证参考录音差或说话内容不适合时仍能获得高保真结果。
  • 不要把 2 版的多语言、声音设计和可控复刻写入 1.5 的能力清单。

适合什么场景

适合关心语音细节、文本语境与本地可控部署,同时需要清楚区分中英文轻量流程和多语言新版本的开发者。

官方资料与出处

  1. OpenBMB/VoxCPM · READMEhttps://github.com/OpenBMB/VoxCPM
  2. VoxCPM · Technical paperhttps://arxiv.org/abs/2509.24650
  3. VoxCPM 1.5 · Version guidehttps://voxcpm.readthedocs.io/en/latest/models/voxcpm1.5.html
  4. VoxCPM · Quick starthttps://voxcpm.readthedocs.io/en/latest/quickstart.html
  5. VoxCPM2 · Technical reporthttps://arxiv.org/abs/2606.06928

DS Speech 当前提供 Qwen-Audio-3.0-TTS 在线功能;资料库中其他模型的介绍、命令和链接用于帮助读者了解与自行部署。

继续了解其他模型

Qwen-Audio-3.0-TTS用自然语言塑造语气、情绪与方言OmniVoice大规模语言覆盖与短音频声音克隆IndexTTS 1.5稳定中英文复刻与中文多音字纠音IndexTTS 2同一音色,独立调整情绪表现