- 研发机构
- 论文署名：Xiaomi Corp.
- 语言范围
- 600 多种语言
- 输出采样率
- 24 kHz
- 使用方式
- Python、命令行、Gradio；开源自部署
值得关注的优势
复刻、声音设计和自动选声
复刻模式输入参考音频及对应文本；没有提供文本时，可以用 Whisper 自动转写。声音设计则通过性别、年龄、音高、口音等属性组合描述新声音。
官方说明模型主要以声音克隆任务训练，设计模式的训练数据集中在中英文本，二者的稳定性和适用范围需要分别判断。
官方来源 [1]跨语言复刻保留什么
官方建议使用 3～10 秒清晰参考录音。跨语言复刻可能带入原录音语言的口音；如果目标是标准发音，优先用与目标文本相同语言的参考音频。
官方来源 [1]使用与部署
- 准备 Git、uv 和适合设备的 PyTorch 环境；官方提供 NVIDIA、Apple Silicon 与 Intel XPU 相关安装说明。
- 克隆仓库并执行 uv sync，同步依赖后启动 Gradio。首次运行需要下载模型权重，模型 ID 为 k2-fsa/OmniVoice。
- 验证短句复刻后，再尝试命令行批处理或 Python API；生成语音时使用与参考音频一致的转写文本更便于检查问题。
OmniVoicebash
git clone https://github.com/k2-fsa/OmniVoice.git
cd OmniVoice
uv sync
uv run omnivoice-demo --ip 127.0.0.1 --port 8001使用前需要了解
- 600 多种语言是覆盖范围，不等于每种语言拥有相同的音质、发音准确率或口音还原能力。
- 官方的推理速度数据有指定设备和推理设置，不能直接换算成普通电脑或线上服务的固定完成时间。
适合什么场景
适合多语言本地化、低资源语言探索、固定音色复用，以及希望自行掌控推理环境的团队。