摇摆时间线ZHLMI
26-11-07 21:41 微博认证:上海慧龙计算机系统有限公司多媒体经理

接着聊一下 Boya博雅Notra小录方,今天在谷歌开发者节上,我几乎是全程开着这个东西在录的。那三张思维导图就出自于它。总共录下来四个多小时的音,耗电百分之三十多,正常情况下普通人用肯定是绰绰有余了。

市面上大部分 AI 录音转写类的设备,基本都是卡片式,磁吸,用来吸附在手机背面。只有少数采用了无线麦克风形态。两种形态的区别在于:后者在相同的使用场景下,多出了一个使用位置。

第一种,卡片式的形态,它基本就适合放在会议室里,房间不大,你把手机放桌上也没人说什么。另外就是大会场,能不能录清楚,看命。这个形态解决的主要问题,不是录音,是转写。大部分 AI 厂商出得就是这个形态,甚至强绑定某家 AI 转写模型,卖的是转写服务本身。

第二种小录方这样的麦克风形态,它不但在会议室,会场,这种卡片式同样的场景里能用,还多了另一个位置,就是主讲人的身上。腕表式,挂脖式,领夹式。如果你能搞定讲师戴着它的话,录音的效果能提升一大截。再不济,你还能想办法固定在讲师的麦克风上。

记住,转写的效果,好不好,以现在的时代来说,其实不单单取决于模型。模型决定下限,而音频质量决定上限。我今天在大会场里测试小录方就是在测这个,今天基本上把影响 AI 转写设备效果的三个最大的敌人都遇上了。

• 混响:音节的尾音会拖到下一个音节,彼此污染。
• 远场:DRR(直达声和反射声的比值)低,频谱包络自然就不干净。
• 多声源:VAD(语音活动检测)和说话人分离会先失效。

这三个都是物理问题,模型救不回来。

此外,很多人觉得降噪消噪是个好东西,在通话里确实如此,但有的场景里不是。AGC、DNN 降噪、回声消除,在转写里可能是灾难。降噪会切掉弱辅音和齿音,而术语辨识恰恰最依赖这些高频细节。更麻烦的是,现在的神经网络降噪是重建语音,重建就意味着它也在猜,而且猜的是常见音节。

所以你如果需要的是真正优秀的转写,可能得去看看你的设备里,直接录下来的声音,有没有被处理过。转写设备传到手机上被处理是很正常的,但如果有一份更原始的录音文件,比如 ASR 的标准原料,16kHz / 16bit / 单声道 / 未压缩,那会更好。(注:标准只是下限)

这里的另一个问题,你从手机里导出来的这份录音文件,文件头里可能有类似于 ISFT = Lavf61.7.100 这种字,这是 FFmpeg 的 libavformat 写进去的封装标签,这意味着手机上导出的,其实不是设备里的原始文件。

APP 导出时大概率做过重采样(比如 48k → 16k)和重封装。当然,升采样率对 ASR 基本没用,所以最关键的其实是,你的录音设备有没有多声道。如果原始录音文件有多麦克风的话,那么波束成形或声源选择,可能才能让转写效果获得最实打实的提升。

好听和好识别,在 ASR 领域里是两个目标。

所以如果你的转写设备有降噪开关,我给你的建议是,做一次对照,同一段话,开关各录一遍,比频谱差异。对照下来如果高频被削、或者转写明显变差,就关掉。你录下来的音频文件的目标是机器读,不是人听。

最后,我可能有点其他的想法,博雅是做音频的厂商,我买的其实是一个带有云端转写的录音设备。所以它的转写服务与自家其实没什么关系,因此等会员到期了,说不定我可以直接自己改成喜欢的其他转写模型。

但是如果你买的是模型厂商出的,那人家卖的就是服务,你买的其实是一个有录音功能的转写服务,你想换模型,就等于要重新花钱买新的设备。

大部分人想买的实际上是转写模型,而它卖给你的是绑定。

发布于 上海