- 연구 기관
- 논문 소속: Xiaomi Corp.
- 언어 범위
- 600개 이상
- 출력
- 24 kHz
- 인터페이스
- Python·CLI·Gradio, 자체 호스팅
주목할 장점
복제·디자인·자동 음색
복제는 참조 오디오와 전사 텍스트를 사용하며 텍스트가 없으면 Whisper로 전사할 수 있습니다. 디자인은 성별, 나이, 음높이와 억양 같은 속성을 조합합니다.
공식 설명상 주된 학습 과제는 복제입니다. 음성 디자인은 중국어·영어 데이터로 학습했으므로 다국어 복제와 안정성을 별도로 판단해야 합니다.
공식 출처 [1]교차 언어 복제와 억양
공식 권장은 선명한 3～10초 녹음입니다. 참조와 목표 언어가 다르면 원래 언어의 억양이 남을 수 있으므로 표준 발음이 중요하면 같은 언어의 참조를 사용합니다.
공식 출처 [1]사용 및 배포
- Git, uv와 장치에 맞는 PyTorch를 준비합니다. 공식 문서에 NVIDIA, Apple Silicon, Intel XPU 안내가 있습니다.
- 저장소를 복제하고 의존성을 동기화한 뒤 아래 명령으로 Gradio를 실행합니다. 첫 실행 시 k2-fsa/OmniVoice 가중치를 다운로드합니다.
- 짧은 문장 복제를 확인하고 CLI 배치나 Python API로 확장합니다. 정확한 전사 텍스트가 있으면 발음 문제를 확인하기 쉽습니다.
OmniVoicebash
git clone https://github.com/k2-fsa/OmniVoice.git
cd OmniVoice
uv sync
uv run omnivoice-demo --ip 127.0.0.1 --port 8001사용 전 알아둘 점
- 600개 이상 언어 지원은 모든 언어의 품질, 발음과 억양 재현이 동일하다는 의미가 아닙니다.
- 공개 속도는 특정 장비와 설정에서 측정한 값으로 다른 컴퓨터의 고정 완료 시간을 보장하지 않습니다.
적합한 활용 사례
다국어 현지화, 저자원 언어 연구, 고정 음색 재사용과 자체 추론 운영에 적합합니다.
공식 자료와 출처
DS Speech는 현재 Qwen-Audio-3.0-TTS를 온라인으로 제공합니다. 다른 모델의 소개, 명령과 링크는 학습과 자체 배포를 위한 자료입니다.