喉咙传感器 在喉咙安装传感器，通过皮肤震动录入声音！东大索尼共同研发

在喉咙安装传感器，通过皮肤震动录入声音！东大索尼共同研发

编译：李欣月

不出声，仅仅通过喉咙和下颚的皮肤震动 就能知道你想说什么。

这可不是特工电影里某个天马行空的高科技，最近，东京大学和索尼计算机科学研究所（CSL） 共同研发出AI系统“Derma”就能实现上述功能，通过将传感器贴合在喉咙周围的皮肤 上，就能实现从口形(无声说话)到语音的转化。

电影里奄奄一息的富翁想要修改遗嘱却无法发声最终被自私的儿子私吞财产的事再也不会发生了，当然首先，你要成为富二代。

不过，这项技术可不是用来干这个的。

据相关研究人员透露，研究灵感最初来源于视听障碍者的触诊唇读法 ，他们会用手指触摸说话者的嘴唇和下巴周围，以此读取说话内容。也就是说，他们通过触摸障碍者嘴唇周围的皮肤就可以知道他们的说话内容。

研究中，研究者们利用机器学习把整个过程自动化，完成了深层学习的无声语音交互(Silent Speech Interaction，SSI)。

传感器安装图

不过目前相关设备还在进一步地完善中，与可穿戴电子设备和身体嵌入式计算设备结合也还处于设想阶段。

但是想想总不是什么坏事。

具体说一下“Derma”。

只要在下颚皮肤的两个位置安装MEMS(Micro ElectroMechanical Systems)加速度计和角速度传感器，就能通过随着说话发生的下颚运动和舌肌运动引起的从下颚到喉咙的皮肤颤动，进行无声的“语音识别”了。

实验中，研究者从传感器上获取到了12维皮肤运动信息 ，通过深度学习能够分析识别35种发声命令短语 ，而且他们发现，系统的识别准确率达到了94%以上 。

Derma的概要图：利用附着在咽喉周围皮肤上的加速度/角速度传感器，通过无声说话获取下颚皮肤运动信息，利用深层学习进行分析和识别

于是，利用生成音素记号系列的连接时间分类(Connectionist Temporal Classification, CTC)的神经网络进行训练，训练之后的模型就能把无声说话的皮肤颤动转换为语音，转换后的语音合成除了可以输入到附近的具有语音识别功能的数字设备 （语音助手）之外，还可以用于帮助因声带损伤等原因而难以发声的用户进行交流 。

实验使用的加速度/角速度传感器

与现有的无声语音交互研究相比，这个设备在安装时并不显眼 ，而且体积小、重量轻、耗电量低，不易受到照明条件等周围环境因素的影响 。在生活中，该设备也不会影响到使用者的正常生活 ，吃饭和日常的交流可以照常进行，简直不能再实用。

相信这个设备在未来会造福大批残障人士 。

相关报道：

https://www.itmedia.co.jp/news/articles/2003/18/news046.html

对话“可穿戴人工喉”研发团队：类似创可贴，使患者声音还原准确率超90%

近日，清华大学集成电路学院教授任天令团队研发了一款可穿戴人工喉，可以识别佩戴者喉部发声的信号，并将其转换为语音播放出来，还原准确率超90%。该成果已发表在《自然》人工智能子刊《自然·机器智能》上。任天令教授团队基于石墨烯材料研发的智能可穿戴人工喉，对低频的肌肉运动、中频食管振动和高频声波信息有较高的灵敏度，也具有抗噪声的语音感知能力。同时，人工喉还能通过热声效应将信号转换成声音播放。

↑使用智能可穿戴人工喉进行无声语音交互

著名医学杂志《柳叶刀》2021年发布数据显示，2019年全球共有20.9万例新发喉癌病例，其中男性为18.1万，女性为2.8万。相较于前10年，2010-2019年间喉癌的新发病例数增加了24.7%。

任天令教授团队告诉红星新闻，通过集成AI模型，人工喉能够识别一名喉切除术患者模糊说出的日常词汇，准确率超过90%。识别出的内容被合成为语音在人工喉上播放，可以初步恢复患者的语音交流能力。这将有助于帮助发声失能群体恢复发声，造福更多的声音障碍者。同时，人工喉的制作过程简单、性能稳定、易于集成，为语音识别和交互提供了一种新的硬件平台，同时它还有很大的优化和拓展空间。

让喉疾患者重获新“声”

将贴片贴在靠近喉咙处就能还原声音

红星新闻：能否简单介绍下这款可穿戴人工喉的性能和工作原理？

任天令教授团队： 我们人的语音交流发出声音，来源于声带震动，以及喉部、唇部这些发声器官的协同合作。当说话的时候，如果把手放在喉部，能感觉到喉管是有震动的。不同于麦克风通过空气中的机械波采集声音，人工喉是一个极其敏感的机械传感器，它能够感知喉部细微的震动，可以把它看作一个频域感知范围更广的麦克风。

此外，我们以往的扬声器是通过机械振动来产生声音，但如果喉部一直振动的话，不光会干扰到声音感知，也会影响佩戴的体验。由于石墨烯具有高热导率和低热容率的特点，它还能够通过空气加热、冷却的过程（热声效应）发出声音。因此，人工喉可以被看作为一种“麦克风和扬声器的集合体”，用以辅助人们语音交流。

红星新闻：在这个过程中有没有遇到特别难的问题？

任天令教授团队： 有的。这是一个比较复杂的工程项目，从传感器的材料选取，传感器的设计优化，数据的采集，采集系统的搭建，后面还有语音模型的设计，这些软件硬件需要结合一起去考虑，从工程量来说是比较大的，里面也有一些未知的科学问题需要探索。

在实验的过程中，最关键的就是信号采集的问题。因为喉部震动比较微弱，最初采集的数据质量实际上并不是很理想，我们实验人员是在自己身上也尝试过很多次。主要还是得多下功夫不断去实验，这方面没有捷径。

红星新闻：人工喉与现在市面上的电子喉助音器等产品相比有哪些不同？

任天令教授团队： 这是两个完全不一样的技术。现在市面上的电子喉是人去适应设备的理念，人工喉是让机器去学习人类的语言，这是一个本质的区别。

具体来说，使用者往往因为喉切除手术以后把声带切除了，丧失了声带这个震动的声源，传统的电子喉是一个提供单频振动的马达，配合上食管、唇部、舌头的运动，调制振动发出声音，声音单调，听起来像机器人。同时，电子喉学习、使用成本很高的。因为喉切除手术以后，需要手持电子喉抵住喉咙去学习，尝试用它发声。

人工喉的使用相比电子喉会更容易。使用者贴附以后只需要录入自己的语音，设备的算法可以快速学会语音特征，不用去单独另外再学一门语言。这类似于手机录入指纹的过程，尝试几次以后就慢慢学会了。通过集成AI模型，人工喉能够识别一名喉切除术患者模糊说出的日常词汇，准确率超过90%。我们后面将会采用人工AI语音合成技术，使用者本来的声音会被完全还原。

另外佩戴也会更舒适，一枚硬币大小的人工喉贴片，贴在颈部靠近喉咙处就可以了。

不仅仅造福于声音障碍者

还可用于金融支付、火灾现场等领域

红星新闻：人工喉的使用体验如何？

任天令教授团队： 目前看来人工喉的成本相对较低，我们可以把它看作一个类似创可贴的形式，夏天热出汗多就勤换，冬天长时间佩戴也可以。如果晚上睡觉佩戴觉得不舒服，也可以卸掉等醒后再佩戴。

考虑到人工喉属于传感元件，它要实现一个比较高的灵敏度的话，肯定相对来说会脆弱一点。所以它是可以更换的，失效后也不用修，直接换掉就可以了。

红星新闻：除了刚才提到的有发音障碍的喉疾患者，人工喉还将会应用到哪些方面？

任天令教授团队： 人工喉还有很大的优化和拓展空间，例如提高声音的质量和音量，增加语音的多样性和情感识别，以及结合其他生理信号和环境信息实现更自然和智能的语音交互。比如贴附的位置也不只限于喉咙，未来也可能在面部产生类似于一种像电影《阿凡达》里面那些外星人面部纹身，看起来会很有科技感。我们也希望通过进一步的研究和合作，让人工喉造福更多的声音障碍者和语音交互的用户。

项目研究的初衷是想帮助解决发声失能群体恢复发声的问题，但实际上这项成果对普通人来讲也是可以适用的。比如说在机场工作的地勤人员、火灾现场的消防员，在那种嘈杂环境下正常的语音交流肯定是不行的。但是通过我们的这种方式，将声音转化成对应的语音信号，传到耳麦里进行播放，可以有效解决这些问题。

另外对更广大的社会人群，在一些注意通话私密性的场合，还有金融支付领域都有广泛的应用前景。比如人工喉可以将采集到的喉部振动信息用于语音支付，安全方面或会有比较显著的提升。

红星新闻：目前还有哪些最新进展？

任天令教授团队： 近期我们可能还会请一些做过喉切除手术的志愿者来参与实验，同时在硬件上面做一些优化。算法的话目前还是在检测，后面如果要做到连续实时语音的话，还需要更多的志愿者采集到足够的语料库。目前整体还处于试验优化阶段。

红星新闻：这项成果什么时候能面向社会？

任天令教授团队： 目前我们主要还是对项目各方面进行优化，并将积极推进这一成果向市场进行产业化转化，尽早投入社会应用，服务于需要得到帮助的广大人群。在这个期间，我也非常欢迎社会各界的朋友一起关注、支持！

红星新闻记者 任江波 实习生 李佩欣

责编 官莉 编辑 潘莉

（下载红星新闻，报料有奖！）

相关问答

三维传感系统供应商驭光科技宣布获得联想创投等机构的新一轮亿元融资。本轮融资后,驭光科技将进一步增加在三维传感领域的投入,尤其是微纳光学器件和深度算法...

会导致汽车怠速不稳定,不能够发动汽车经常熄火。节气门位置传感器坏了会出现两个问题:是导致汽车怠速不稳定,因为传感器是通过两个触点,来检测发动机的实时...

恩威洁尔阴洗液有什么作用?

[最佳回答]节气门传感器安装在节气门体上,位于节气门轴的一侧,由节气门操纵。以下是对节气门的介绍:,1、节气门是控制空气进入发动机的一道可控阀门。,2、气体...

[回答]节气门、节流阀都是化油器下座上面的一个帆板,两者是一回事,用来控制进气量的.化油器是(carburetor)是在发动机工作产生的真空作用下,将一定比例的...

经常反复莫名的喉咙痛,感冒,只好戴口罩。以上这些情况已经持续多年,吃过阿胶,人参,就连中药也调理了三年,还是没有丝毫好转,困扰得太久,已经有些心灰意冷了。...

[回答]可能是节气门电线插头松动、连接不良,抑或是节气门传感器出现故障。节气门可谓是发动机的“咽喉”,能够控制进入发动机的空气量。踩下油门踏板后,节...

其中的颗粒物传感器是用来检测和监测室内空气中颗粒物(如PM2.5、PM10等)的浓度。如果您发现小米空气净化器的颗粒物传感器出现故障,可能会导致以下问题:1.无...

[回答]1.指纹识别技术、人脸识别、声纹识别.数字证书、USB钥匙扣。2.(1)人体固有的生理特征和计算机、光学、生物传感器、生物统计学原理(2)客户、员...

治疗颈肩腰腿痛针灸绝技:手三针、足三针!_千问健康