モデルと技術

VoxCPM:ModelBest と清華大学の連続音声生成

VoxCPM は ModelBest と清華大学 THUHCSI が共同開発し OpenBMB で公開しています。拡散自己回帰により連続音声表現を生成し、文章の文脈、韻律、音響の細部を話し方へ反映する設計です。

ModelBest · 清華大学 THUHCSI資料確認日
公式 GitHub
開発元
ModelBest・THUHCSI
構成
連続音声・拡散自己回帰
VoxCPM 1.5
中英語・44.1 kHz
VoxCPM2
30 言語・48 kHz

注目したい強み

01

文章の文脈を表現へ

意味と音響の階層的なモデル化で連続音声の詳細を保ち、原稿に応じた韻律を目指します。

公式の出典 [2]
02

1.5 は中英語の音響を改善

44.1 kHz 出力と内部 token レート削減を導入し、SFT・LoRA による調整を提供します。

公式の出典 [3]
03

2 はデザインと可制御復刻を拡張

30 言語、48 kHz、自然言語の音声デザイン、可制御クローンを追加します。これらは 1.5 の機能ではありません。

公式の出典 [5]

参照方法で目的を変える

2 版は参照録音だけで音色を復刻でき、正確な転写と組み合わせれば元のリズムや風格を引き継ぐ音声継続型の生成も可能です。

デザインは文章だけで音色を作り、可制御復刻は参照話者を保ちながら表現を指定します。

公式の出典 [1]

モデル ID とサンプルレートを固定

VoxCPM-0.5B、VoxCPM1.5、VoxCPM2 は言語・出力・機能が異なります。ID を明示し、保存時は model.tts_model.sample_rate を使用します。

公式の出典 [4]

利用・導入方法

  1. 対応する Python、PyTorch、計算機器を準備し、GPU/CUDA、CPU、Apple Silicon の説明を確認します。
  2. voxcpm をインストールして openbmb/VoxCPM2 を明示的に読み込みます。1.5 を使う場合は対応する ID と API に変更します。
  3. 下の短文生成を確認後、公式 WebUI、バッチ、ストリーミング、サービス展開の文書に進みます。
VoxCPMbash
python -m venv .venv
source .venv/bin/activate
pip install voxcpm
VoxCPM2python
import soundfile as sf
from voxcpm import VoxCPM

model = VoxCPM.from_pretrained("openbmb/VoxCPM2", load_denoiser=False)
wav = model.generate(text="Hello, welcome to the voice model library.")
sf.write("output.wav", wav, model.tts_model.sample_rate)

利用前に知っておくこと

  • 44.1 kHz や 48 kHz はサンプルレートであり、質の低い参照音声でも高忠実度になる保証ではありません。
  • 2 の多言語、デザイン、可制御復刻を 1.5 の機能として記載しないでください。

適した用途

音声の細部と文脈、自前の実行環境を重視し、中英語版と新しい多言語版を選びたい開発者に適しています。

公式資料・出典

  1. OpenBMB/VoxCPM · READMEhttps://github.com/OpenBMB/VoxCPM
  2. VoxCPM · Technical paperhttps://arxiv.org/abs/2509.24650
  3. VoxCPM 1.5 · Version guidehttps://voxcpm.readthedocs.io/en/latest/models/voxcpm1.5.html
  4. VoxCPM · Quick starthttps://voxcpm.readthedocs.io/en/latest/quickstart.html
  5. VoxCPM2 · Technical reporthttps://arxiv.org/abs/2606.06928

DS Speech は現在 Qwen-Audio-3.0-TTS をオンライン提供しています。ほかのモデルは学習・セルフホスト向けの資料として紹介しています。

ほかの音声モデル

Qwen-Audio-3.0-TTS自然言語で話し方・感情・方言を指定OmniVoice幅広い言語と短い参照録音からのクローンIndexTTS 1.5安定した中英クローンと中国語発音修正IndexTTS 2同じ人物の声で異なる感情を演じる