物外传感器 通过颈静脉植入脑机接口与眼动仪，瘫痪患者成功操控个人计算机
通过颈静脉植入脑机接口与眼动仪，瘫痪患者成功操控个人计算机
【导读】：
可植入的脑机接口（BCI），用作运动神经假体，有可能恢复自愿的运动冲动，以控制数字设备并改善因脑，脊髓，周围神经或肌肉功能障碍而严重瘫痪的患者的功能独立性。然而，迄今为止的报道具有有限的临床翻译。
两名患有肌萎缩性侧索硬化症（ALS）的参与者接受了一项单臂，开放标签，前瞻性，早期可行性研究。使用微创神经干预程序，将新型血管内Stentrode BCI植入邻近主运动皮层的上矢状窦。参与者进行了机器学习辅助的培训，以使用与尝试的动作相关的无线传输的皮层电信号来控制多个鼠标单击动作，包括缩放和左键单击。与光标跟踪的眼动仪结合使用，参与者可以实现Windows 10操作系统控制，以执行日常工具性活动（IADL）。
这两名ALS患者通过植入来自旧金山的生物医学初创公司Synchron的脑机接口，通过直接思考就能控制自己的PC。该发现上周在《神经介入外科杂志》（Journal of NeuroInterventional Surgery (JNIS),）上进行了报道。
该界面（一种称为Stentrode的传感器）使严重瘫痪的患者可以通过直接思考来恢复短信，电子邮件以及在线购物和银行业务等任务。小而灵活的界面是通过颈静脉植入的，无需进行开脑手术。
"这是脑机接口领域的突破性时刻，" Synchron首席执行官Thomas Oxley表示。" Stentrode有一天将能够帮助数百万瘫痪的人。"
当与眼动仪结合使用时，患者无需鼠标即可使用Stentrode来控制Windows 10 OS。他们进行了机器学习辅助的培训，以控制各种鼠标单击动作。在不使用预想性文字的情况下，其点击准确性高达93％，打字速度高达每分钟20个字符。他们在短短71天内就达到了无人监督的家庭使用水平。
Stentrode能够拾取大脑在运动皮层发出的特定电频率，从而控制运动，并通过植入胸部的无线设备将其传输到PC。大脑控制的免提应用程序平台还将大脑的冲动转换为标准的数字语言。
血管内运动神经假体系统。演示了运动神经元疾病导致上肢松弛性瘫痪的参与者的内部和外部系统组件。该装置被植入上矢状窦内，紧邻中央前回。大脑中突出显示的黄色区域描绘了尝试肢体运动时发生的初级运动皮层的激活。传输导线从胸锁乳突肌头部之间的颈内静脉流出，经皮下穿隧，并连接到放置在锁骨下袋中的内部遥测装置（ITU）。外部遥测单元（ETU）为ITU感应供电，并通过红外光传输接收皮质电信号。信号通过信号控制单元发送到平板电脑，并通过自定义解码器转换为多次单击动作，包括缩放功能和单击命令。多个命令控件与眼动追踪相结合，以启用Windows 10的常规操作。
临床试验：
现年75岁的格雷厄姆·费尔斯特德（Graham Felstead）是Stentrode研究的第一位患者，他在一份声明中说，该设备"使我得以再次提高工作效率，包括购物和银行业务。重新获得这种独立性是不可思议的。" 他因ALS而严重瘫痪，并于一年多前（2019年8月）接受了植入手术。
第二位参与者Philip O'Keefe是一名ALS的60岁男性，他从事兼职工作，并与妻子和两个孩子一起生活在家里，他能够控制计算机设备来执行与工作有关的任务和其他独立活动于2020年4月接受Stentrode训练。他的手指，肘部和肩膀的功能受损以前抑制了他从事这些工作的能力。
由于Stentrode装置小巧且足够灵活，可以安全地通过弯曲血管，因此植入过程与起搏器相似，并且不需要进行开颅手术。在过去的20年中，神经介入手术已迅速发展成为专科，如今已成为脑动脉瘤和大血管卒中治疗的一线选择。通过血管的进入可以减少脑组织发炎和设备拒绝的风险，这对于需要直接脑部渗透的技术来说是一个问题。植入是使用成熟的神经介入技术进行的，不需要任何新颖的自动化机器人协助。
"脑机接口的其他方法已经集中在高数据速率上，这为临床翻译带来了技术障碍。Synchron专注于开发可显着改善患者生活的产品。我们的首款产品将专注于使用脑部脉冲进行智能设备控制，而无需动手。仅此一项就有可能满足发达经济体中3000万患者的未满足市场需求。"
Stentrode已获得美国食品和药物管理局（FDA）的"突破性设备"称号，这是为解决不可逆转的衰弱条件的创新解决方案保留的地位。该可行性研究的安全性和有效性数据将用于最终确定FDA批准的未来试验的方案，该试验将指导评估美国市场的批准。
结论
Synchron认为，Stentrode设备通过血管进入可能会降低脑组织发炎和设备排斥的风险，这已成为涉及直接脑部渗透的其他外科技术的关注点。
Synchron的工作仍处于初期阶段。Stentrode于8月下旬获得了美国FDA的突破性设备称号。当前研究的数据将用于最终确定FDA批准的未来试验的方案，该试验可能会导致美国市场的批准。
这些最初的人体数据证明了血管内运动神经假体在麻痹症患者中通过多个命令实现数字设备控制以及与眼动追踪相结合以改善功能独立性的潜力。需要进一步的工作来表征短期和长期的安全性，并为有意义的临床结果建立标准化的任务执行标准，以指导关键试验的设计。
市场与未来技术路线
Synchron表示，脑机接口市场有望成为一个价值20亿美元的产业。Stentrode的未来潜在应用包括治疗神经系统疾病，例如帕金森氏病，癫痫，抑郁症和高血压。
埃隆·马斯克（Elon Musk）旗下的Neuralink Corp.和Paradromics都是正在开发可记录大脑信号技术的公司。斯坦福大学的研究人员表示，他们可以解码与手瘫痪的患者手写相关的大脑活动。
美国国防高级研究计划局还资助了允许四肢瘫痪者移动机器人手臂的研究，而五角大楼则支持使用光而不是嵌入式电极来收集大脑信号的技术。
关于Stentrode
Stentrode™是唯一的介入神经接口平台，旨在同时充当神经假体和神经调节装置。在第一项临床试验中，使用常用于神经血管支架植入的手术，将微型Stentrode运动神经假体植入大脑的运动皮层旁，而无需进行开放性颅脑手术。除植入物外，Stentrode（一种脑机接口）还依赖于植入胸腔内的完全内在化的无线解决方案，该解决方案可提供高分辨率的神经数据传输。以及革命性的由大脑控制的免提应用程序平台，可将大脑的冲动转化为标准化的数字语言。Stentrode正在接受临床研究，以评估其通过恢复对外部设备的命令控制来改善瘫痪患者的功能独立性的能力，这些外部设备有利于日常生活的工具活动，例如文本消息传递。未来的干预性神经调节应用可能包括从血管内诊断和治疗神经系统疾病的潜力，包括帕金森氏病，癫痫，抑郁症和高血压。
关于Synchron，Inc.
Synchron，Inc.是一家神经血管生物电子医学公司，致力于为先前无法治愈的神经系统疾病开发支持血液的解决方案。该公司正在开拓介入神经调节领域，并开发了世界上第一个运动神经假体StentrodeTM，这是一项临床试验中的脑机接口，旨在评估其帮助瘫痪患者恢复功能独立性的能力。该公司还在开发血管内神经调节解决方案，以潜在治疗帕金森氏病，癫痫，抑郁症和高血压以及其他疾病。该技术平台的开发是从墨尔本大学中剥离出来的，并获得了美国国防高级研究计划局（DARPA）和美国政府的部分资助。国防部（DoD）。该技术被当时的总统巴拉克·奥巴马（Barack Obama）公开认可为"具有改变我们受伤的战士和残障人士生活的潜力的技术"。Neuro Technology Investors，LLC随后领导了A轮融资，其中还包括METIS innovation。Synchron总部位于加利福尼亚州的硅谷，在纽约布鲁克林的Newlab和澳大利亚的墨尔本设有研发机构。
加速神经拟态视觉传感技术落地，法国初创公司「普诺飞思Prophesee」进驻中国市场
文丨李子月Zoe
编丨石亚琼
**
普诺飞思（Prophesee）2014年创立于巴黎，专注于神经拟态视觉传感技术，引入计算机视觉新类别——基于事件的视觉（Event-based）。其研发的普诺飞思原视觉（Metavision®）传感器可应用于手机、自动驾驶、工业自动化、物联网、AR/VR、医疗设备等领域。目前第三代传感器已实现盈利，第四代传感器将于今年年底大规模量产。
此前，普诺飞思曾获360 Capital Partners，欧洲投资银行，iBionext，韦豪创芯，英特尔资本，雷诺集团，博世创投，创新工场（普诺飞思是创新工场投资的第一家欧洲企业），Supernova Invest，小米等投资。
联合创始人兼CEO Luca Verre拥有米兰理工大学和巴黎中央理工学院的物理学、电子和工业工程双硕士学位，以及欧洲工商管理学院的工商管理硕士学位，曾在施耐德电气公司负责项目及产品管理、市场营销和业务开发等。在加入施耐德电气之前，还曾任丰田汽车和Altis半导体的工程师，并在伦敦帝国理工学院担任光子学研究助理。联合创始人兼CTO Christoph Posch拥有维也纳工业大学电子与通信工程硕士学位，实验物理学和微电子学博士学位，曾创立法国生物电子公司Pixium Vision。普诺飞思共有100多名工程师，50多项国际专利。
除巴黎总部外，普诺飞思上海、东京、硅谷和格勒诺布尔均设有办事处。谈及进驻中国市场的原因，Luca Verre 表示：中国拥有最大的移动设备市场，安防、工业等领域也有非常多的机会；中国强大的半导体生态系统也将促进普诺飞思的迅速发展。目前公司正在积极发展中国团队，寻找机器视觉工程师、系统工程师和销售经理等人才。
基于帧的技术VS基于事件的技术
传统的图像传感器采用基于帧的技术（Frame-based）。通过每秒捕获多帧静止图像来表达/记录场景运动，并通过连续快速的展示，让观看者的视觉产生连续运动的错觉。其中的弊病有二：一是每帧之间是空白的，必然会丢失运动物体的部分信息。二是无论场景是否发生变化，传感器中的像素都会进行记录，相同的背景信息被重复记录，从而生成大量无用数据。
（高尔夫球手挥杆场景演示 图片来源：采访供图）
以高尔夫球手挥杆为例，在这一场景中，重要的信息是球杆的摆动和球的运动，但传统传感器将丢失这些信息的某一部分，同时反复记录他身后不变的天空、树木和草地。
（基于帧的传感器（左）和基于事件的视觉技术（右） 图片来源：采访供图）
而我们的眼睛并不会以帧为单位记录场景图像，只是在场景产生变化时传递信息给大脑。通过这样的方式，人眼只收集必要信息，而不必浪费时间和精力重复处理场景中没有变化的图像。
普诺飞思所采用的基于事件的视觉技术（Event-based），便是受到了人眼视网膜和大脑工作原理的启发。在普诺飞思原视觉（Metavision®）传感器中，每个像素都是异步且独立的，像素不再由固定的时序源（帧时钟）控制，而是由信号在幅度域的变化来控制，并在检测到变化或运动时进行记录。图像信息不是逐帧发送，而是通过连续的信息流捕获时间运动，并且帧与帧之间没有任何重要信息遗漏。
普诺飞思基于事件的视觉系统产生的数据量比传统图像传感器减少十到千倍，等效时间帧速率>10k fps。其传感器可实现像素级别的曝光调节，即使在极暗或极亮的光照条件下，也能实现>120dB的动态范围，低光灵敏度
普诺飞思的四代传感器
普诺飞思第一代传感器用于帮助盲人部分视力恢复。如其与法国生物电子公司Pixium Vision合作研发的无线视网膜植入物。
普诺飞思第三代原视觉传感器已经量产，主要应用于工业自动化，尤其是高速机器视觉领域，如高速计数、激光焊接监控、震动测量等。如德国Imago已将其集成到了工业级相机系统中。这一代产品目前已经盈利。
普诺飞思与索尼合作研发的第四代传感器主要应用于工业和物联网，目前正在与客户的测试阶段，预计今年年底能够大规模量产。基于事件的视觉传感器的每个像素都是独立的，晶体管数量较多，使得降低芯片尺寸成为难题。普诺飞思的第四代传感器应用了索尼BSI（背照式）和3D堆叠工艺，大大降低了传感器尺寸。第三代传感器（图左）尺寸为15μm，第四代传感器尺寸为4.86μm，是目前基于视觉的传感器中的最小尺寸。
（普诺飞思第三代和第四代芯片 图片来源：采访供图）
此外，普诺飞思近期还推出了评估套件EVK 3（支持与索尼半导体共同开发的4.1 HD传感器和3.1 VGA传感器）。EVK 3与Metavision®️智能套件（由Player、Designer和SDK组成，提供近100种算法、67个代码实例和11个特定用例的应用模型）完全兼容，用于帮助用户更好地评估和发挥传感器的性能。Luca Verre表示，相较于同类公司，普诺飞思更早地布局软件开发，并关注到软硬件的配合。
应用领域
智能驾驶
座舱监控：Xperi旗下子公司DTS基于普诺飞思原视觉（Metavision®️）传感技术提供的事件数据，开发了基于神经拟态视觉系统的驾驶员监控解决方案（DMS），提供了更优的微光性能，以及新的检测功能，如眼跳或微表情检测等。
（Xperi研发的首个神经拟态DMS 图片来源：采访供图）
驾驶辅助：高级驾驶辅助软件开发商Terranet AB与梅赛德斯-奔驰共同开发的VoxelFlow™传感器，采用了普诺飞思原视觉（Metavision®️）传感器，可扫描车辆周围半径为40米的区域，反应时间为3毫秒。
（Terranet研发的基于事件的视觉驾驶辅助系统 图片来源：采访供图）
医疗
细胞疗法：Cambridge Consultants的自动化污染检测系统中，使用了普诺飞思原视觉（Metavision®️）传感器和AI模型来检测、跟踪和分类污染物。
（Cambridge Consultants研发的实时污染检测系统 图片来源：采访供图）
恢复部分视力：除上文提到的，与法国生物电子公司Pixium Vision合作研发建立物理视网膜植入物外，最近还与GenSight Biologics合作。在首例晚期视网膜色素变性（RP）失明患者恢复部分视力的病例中（报告发表于《自然-医学》），该患者接受了GenSight Biologics的GS030光遗传疗法试验。这一项目将基因疗法与光刺激医疗设备与护目镜的形式相结合，通过普诺飞思基于事件的原视觉（Metavision®）传感器来感知世界。
（Gensight Biologics盲人视觉部分恢复技术 图片来源：采访供图）
工业自动化
高速计数：上文提到的德国Imago已将普诺飞思基于事件的视觉技术应用于工业部署。
震动监测：通过追踪场景中每个像素的时间变化，以像素级精度连续远程监控振动频率。
（用于预测性维护的逐像素振动监测技术 图片来源：采访供图）
手机
提升传统相机性能：可在较苛刻的速度和光照条件下拍出更清晰的影像，一次即可拍下最美的照片，且时间可放慢至10000倍。
实时图像去模糊：通过算法捕捉到时间分辨率达1微秒的运动，并处理与之相关的运动模糊。
神经拟态领域的高校、研究所和公司
神经拟态传感技术最早源于 1990 年代瑞士苏黎世联邦理工学院（ETH Zurich），苏黎世理工大学和苏黎世大学联合创办的神经信息学院（INI）是神经拟态芯片和算法领域学术界的权威。其他此领域著名的大学还有西班牙塞维利亚大学（University of Seville in Spain）和匹兹堡大学（Pittsburgh University in Pennsylvania）等。
目前神经拟态领域初创公司包括两类，第一类将重点放在传感器的研发上面：源于ETH的Insightness，2019年被索尼收购；同样源于ETH的Inivation；由新加坡南洋理工大学教授陈守顺创立的芯仑光电，目前已经成为中国半导体龙头之一韦尔股份的子公司；源于CSEM Zurich的锐思智芯（Alpsentek），今年七月获得由海康威视、舜宇光学等大厂投资的pre-A轮融资。
第二类初创公司将重点放在神经拟态计算上，包括：ETH博士刘洪杰创立的九天睿芯（Reexen），今年6获由韦豪创芯和浦东科创联合领投的亿元级A轮融资，去年获奇绩创坛Pre-A轮融资；来自瑞士神经信息学院（INI）的海归学者乔宁博士创立的时识科技（SynSense），曾获百度、Merck、中科创星等业界和资本支持。今年10月，普诺飞思与时识科技建立战略合作关系，时识科技将自主研发的低功耗视觉SNN处理器DYNAP-CNN® 与普诺飞思基于事件的 Metavision® 传感器结合在一颗单芯片上，并专注于开发一系列低成本且可大批量生产的模组产品。
传统CIS巨头也开始布局神经拟态传感器，如上文提到的索尼对Insightnesss的收购和与普诺飞思的合作；三星也将这种动态视觉传感器 DVS 技术应用于汽车高级驾驶辅助系统（ADAS）。
欧洲创投相关阅读
2021德语区科技创投报告（上）: 全球“隐形冠军”中，德国公司占比近50%
2021德语区科技创投报告（下）: 全球“隐形冠军”中，德国公司占比近50%
2020法国科技创投报告：巴黎融资金额超越柏林，成为欧盟第一大科创中心
相关问答
在未来，武装无人机群会成为一种军事力量吗?据环球网援引印媒《欧亚时报》消息3月15日报道称,当地时间3月13日,在乌克兰首都基辅地区附近,发现了俄制“立方体”自杀式无人机残骸。这种小型无人机也成为巡...