微软语音发布升级版 HiFiNet 声码器:发音更准更自然、高保真度、合成更快


来源:IT之家   时间:2021-06-25 08:05:11


6 月 24 日消息微软日前发布新一代深度神经网络 HiFiNet 声码器,与微软上一代语音技术相比,由 HiFiNet 声码器合成的神经网络版声音质量再创新高,主要体现在发音更准确、韵律更自然、高保真效果更完美,更受客户青睐。自推出以来,被广泛应用到有声读物、在线教育、车载语音助手等领域。

获悉,HiFiNet 是微软神经网络版语音合成技术中最新的声音编码器,是决定音频质量的关键因素。根据专业评估语音自然度的 MOS 测试结果显示,由 HiFiNet 声码器合成的语音音质可与用于训练的真人录音样本相媲美,并同时改善毛刺、噪音等音频质量问题,输出的音质具备更高保真度,更大程度还原真人录音。

(微软上一代声码器合成声音)

(微软 HiFiNet 声码器合成声音)

语音质量的优劣会直接影响收听者的感受,为提升用户收听的舒适度,在 Azure 语音合成系统中,神经网络声学模型基于深度学习网络,使用真人录音作为原始数据进行迭代训练。首先,提取真人录音的声学特征。然后,利用真人录音的声学特征自动生成两组音频:一组真实声波(原始录音)和一组伪波(合成声波)。最后,由鉴别器区分真实声波和伪波。随着训练次数的增多,声波生成器也会愈发“聪明”,直至生成鉴别器也无法区分的伪波,这意味着机器合成的声音已经和原始录音相差无几,从而给用户带来更贴近自然的体验。

(真人原始录音)

(微软 HiFiNet 合作声音)

由微软 HiFiNet 声码器合成的音频质量更接近真人原始录音。

▲HiFiNet 声码器训练示意图

采样率越高,声音还原越真实。Azure 神经网络版语音合成声学模型默认每秒钟采样 24,000 次 (24 千赫兹),为还原特殊场景中更为复杂、细微的声音内容,HiFiNet 声码器每秒钟采样 48,000 次(48 千赫兹),满足用户对语音质量的严格要求,让用户尽享高清语音体验。

▲音频采样频率与保真度对比示意图

除语音质量外,HiFiNet 合成速度较之其他模型也有显著的提升,进一步提升了语音合成的实时率。据 RTF(Real Time Factor,实时率,用来测量语音合成速度的工具)测试结果显示,HiFiNet 在 GPU 设备上运行的速度是第一代高性能声码器的 3 倍,在 CPU 设备上运行的速度是第一代高性能声码器的 2 倍。

目前,内置 HiFiNet 声码器的 Azure 认知服务神经网络版语音合成服务已支持超过 70 多个国家和地区的语言,提供超过 170 个自然逼真的音色供开发者选择。

有关 HiFiNet 及语音合成的更多内容:

关于 HiFiNet

关于语音合成试用版

关于语音合成的更多资料

关于示例代码

  版权及免责声明:凡本网所属版权作品,转载时须获得授权并注明来源“物联之家 - 物联观察新视角,国内领先科技门户”,违者本网将保留追究其相关法律责任的权力。凡转载文章,不代表本网观点和立场。

延伸阅读

最新文章

英国法院裁定“骑手”为“自由职业者”,外卖 Deliveroo 股价上涨 4% 英国法院裁定“骑手”为“自由职业者”,外卖 Deliveroo 股价上涨 4%

精彩推荐

产业新闻

Win11 现世:微软正式迈入 2 万亿美元俱乐部,成苹果之后第二家 Win11 现世:微软正式迈入 2 万亿美元俱乐部,成苹果之后第二家

热门推荐

版权所有:物联之家 - 物联观察新视角,国内领先科技门户