8月27日消息，科技媒体marktechpost于8月25日发布博文，报道称微软发布开源文本转语音（TTS）模型VibeVoice-1.5B，可一次生成最长90分钟、最多4位不同说话者的自然语音，并支持跨语言及歌声合成。
在架构方面，VibeVoice-1.5B基于1.5B参数的Qwen2.5语言模型，结合声学（Acoustic）与语义（Semantic）双分词器（Tokenizer），以7.5Hz低帧率处理。
声学分词器使用σ-VAE结构，将24kHz原始音频压缩至3200分之一；语义分词器则通过语音识别代理任务训练，保留对话语义。解码端采用1.23亿参数的扩散解码器，结合分类器自由引导和DPM-Solver，来提升音质与细节表现。
该模型为确保在长篇对话中保持语音连贯性与说话人一致性，在训练中逐步扩展上下文长度，从4k至65kTokens，其架构支持多说话者的轮流发言，模拟自然对话场景，且可在流式模式下生成长音频，为未来实时TTS奠定基础。
VibeVoice-1.5B也有局限，目前仅支持英语与中文，其他语言可能出现不准确或不当内容；不支持说话人语音重叠，也无法生成背景音效或音乐。微软明确禁止将该模型用于声音冒充、虚假信息传播或绕过身份验证等用途，并提醒用户遵守法律并标明AI生成来源。
微软表示，该模型主要面向科研和开发者社区，适合播客制作、对话式AI、语音内容生成等领域。未来将推出参数更大的7B版本，支持低延迟交互和更高保真度的实时合成，进一步拓展应用场景。
附上参考地址
微软VibeVoice-1.5B技术报告
HuggingFace
GitHub
