脑机接口在医疗健康领域的应用

脑机接口在医疗健康领域的应用20240229

1. 医健领域新进展

脑机接口行业政策支持强劲：工信部发布推动产业创新发展实施建议，将脑机接口列为十大标志性产品；科技部明确脑机接口研究伦理指引。

技术上取得重大进展：国外公司Neuralink宣布完成首次脑机接口人体手术，国内亦有进展，显示脑机接口技术正逐步走向成熟。

应用最广及商业化前景较高的领域在医疗健康：结合患者群体规模与医药研发难度，脑机接口在医疗领域具有重大意义，市场需求强劲。

2. 医疗应用与技术创新

脑机接口企业主要采用非植入式技术，医疗领域应用包括植入式和非植入式，技术和商业化产品不断成熟。

美国在脑机接口研究投入大，13年至22年的立项金额超过欧盟、日本、韩国、英国总和，基础技术领先。

全球脑机接口公司数量以中国和美国为首，加拿大、英国和以色列为第二梯队，脑电极技术不断创新，例如导电率提升、结构变化和植入方式改进。

3. 探秘脑机接口国产化跃进

国际技术壁垒：美国商务部限制包括脑机接口在内的技术输出，中国加快国产替代和自主创新，目前与国外存在5到10年技术差距。

国内研发态势：中国脑机接口领域专利发表数量自2019年以来呈快速增长趋势，多个科研机构和团队推动产学研合作，实现了一定程度的产品商业化。

资本市场变化：脑机接口吸引大量资金，19年至21年投资额增快，22年以后投资额回落，资本市场投资更加聚焦，倾向于技术有突破、商业化进展的公司。

4. 脑机接口医疗领域展望

脑机接口在医疗领域的应用集中在康复医疗、监测、替代和功能恢复等，技术壁垒较高，吸引资金投入。

全球和中国脑机接口市场规模呈现快速增长，预计2027年全球市场将达到33亿美元；中国2025年市场规模将达到70亿人民币。

脑机接口在医疗领域以非侵入式为主，且与侵入式长期共存，睡眠监测及诊疗设备等商业化进程较快，相关产品与服务逐步成熟。

5. 脑机接口助力医疗创新

睡眠监测与干预技术：产品已上市,临床实验显示可使深睡比例提高30%，缩短进入深睡时间40%。

抑郁症检测与治疗进展：抑郁状态评估系统准确率达80%；电刺激治疗抑郁症改善率超过60%；磁刺激已获美国FDA批准。

消费医疗领域应用：实现心率变异性与脑电图监测,用于情绪监测、疲劳预警及认知障碍治疗。

6. 脑机接口·医疗应用展望

脑机接口产品主要面向卒中、脑无力等患者，旨在通过康复训练提高康复效果，增强20%以上的训练效果。

非侵入式设备已在认知障碍诊断方面取得进展，与机器学习算法联动，两分钟内可检测大脑状态。

侵入式脑机接口用于治疗如癫痫、帕金森等疾病，国内外多家公司在此领域持续研发和临床实验。

7. 医疗应用与挑战

脑机接口技术：能通过植入式芯片监测脑电节律，预测癫痫发作并进行干预；研究重点为侵入式治疗，包括视力和听觉恢复、语言和触觉辅助功能。当前存在认知局限、数据不足和高成本等挑战，仍在初期临床阶段。

视觉恢复研究：主要集中于视网膜和视皮层刺激。美国已有小规模临床实验，如天津医科大学的人工耳蜗儿童听觉康复评估。研发方向包括无线微电极阵列和脑机接口技术的小鼠实验。

商业化远景：产品商业化进展及全球公司（如Neuralink）获得资本市场关注，估值高昂，在治疗失明、耳聋、瘫痪等方面有重要应用前景。

会议实录

1. 医健领域新进展

尊敬的各位投资人，大家晚上好。感谢大家参加本期关于脑机接口在医疗健康领域应用的专题分享。我是新证医药的分析师孙媛媛。今天，我和我的同事陈晓将在线分享我们对这一细分赛道的研究。脑机接口在医疗健康领域的应用占据了很大一部分市场关注。接下来，请陈晓向大家进行介绍。谢谢。

欢迎各位投资者参加此次脑机接口在医疗健康领域的应用电话会。今天的讨论主要分为四个部分：首先是介绍脑机接口近期的发展情况，其次是概述脑机接口的主要概况，第三部分将讨论其在医疗健康领域的应用，最后是对当前相关标的公司的简单概览。

首先，自2024年以来脑机接口领域的发展迅速。1月18日，工信部发布了推动未来产业创新发展的执行建议，其中包括了脑机接口作为标志性产品。2月6日，科技部发布了我国首个脑机接口研究伦理指引，对使用和隐私保护问题提出了明确指导。

技术方面，ElonMusk的公司Neuralink宣布成功进行了首次人体脑机接口植入手术，并且未观察到任何不良反应，实现了通过思考来控制电脑鼠标的目标。国内的宣武医院和清华大学也宣布了脑机接口研究方面的进展，公布了全球首例脑机接口辅助治疗四肢截瘫患者喝水的病例。一些初创公司也表示，他们已在2023年2月完成了首例脑机接口的临床短期植入，采用了柔性电极，并收集到高质量神经信号。这些进展促使投资二级市场相关公司的股价有所反应。

许多投资者好奇清华大学和Neuralink在研究人体受试者方面有何不同和相同之处。两者的相同之处在于都处于小规模临床实验阶段，实验对象均为瘫痪患者。清华大学实验成功实现了患者自主脑控喝水，而Neuralink的受试者则能在电脑屏幕上移动鼠标。最大的差异在技术路线上：Neuralink采用了侵入式方法，电极直接植入大脑皮层，能够实现高精度控制。然而，这也带来了长期使用的问题，如电极可能会引起免疫反应，从而降低信号质量。而清华大学使用了无线微创半嵌入式脑机接口，不会损害大脑细胞，患者术后十天即可回家。

接下来介绍脑机接口的整体情况。简单来说，脑机接口是建立大脑与外界交流和控制通道的技术，不依赖外围神经系统。它的工作流程包括脑电信号的采集和处理，信号的输出和执行，以及将信号反馈给大脑的闭环过程。这涉及到硬件、软件和算法的使用，其中硬件用于采集脑电信号，软件负责数据处理和管理，算法用于信号的机器学习。

当前，脑机接口的应用范围非常广泛，包括但不限于医疗健康、娱乐、智能家居和军事等领域。医疗领域是应用最广泛且商业化前景最高的领域，因为脑部疾病患者人数较多，同时存在较大的未满足临床需求。

根据信号采集方式的不同，脑机接口可以分为侵入式、半侵入式和非侵入式三种类型。随着电极植入位置的加深，所获得的脑电信号质量会提高，但相应的经济成本和安全成本也会随之增加。反之，非侵入式由于无创，安全性高且容易商业化，但其采集的信号精确度可能低于侵入式。

以上是近期脑机接口技术的更新以及整体介绍，感谢大家的关注。

2. 医疗应用与技术创新

实际上，目前脑机接口相关企业大多采取非植入式的路径。全球约有五百多家与脑机接口相关的公司，其中下游应用端企业占比大约为62%。在这62%中，只有9%是植入式脑机接口企业，其余93%为非植入式。医疗领域同样分为植入式和非植入式两种，脑机接口在医疗健康领域有着一定的应用。

从发展历程看，脑机接口经历了学术探索和科学验证阶段，目前正处于应用实验阶段。各类脑机接口技术路线和方法正在不断成熟，商业化产品也已开始落地。

在政策方面，多个国家支持脑科学研究，包括美国、欧盟、日本、韩国和澳大利亚等。尤其是美国，其从2013年至2022年间提供的项目资金超过其他提到国家总和，显示出其在脑机接口领域的领先地位。

根据全球脑机接口公司数量布局，可划分为三个梯队：第一梯队是中国和美国，均有上百家脑机接口公司；第二梯队包括加拿大、英国和以色列，每国有20家以上脑机接口公司；其余为第三梯队。中国近年来也鼓励脑机接口领域的发展，并在“十四五”规划中提出战略布局，相关政策正不断实施。技术方面，脑机接口技术持续创新和迭代。

在技术难点上，非植入式脑机接口的挑战在于提升信号采集质量。目前主要通过两条路径进行改进：一是改进材料以提高导电性。如浙江大学研究在导电层中加入纳米粘土以增强电极与皮肤的紧密耦合；二是日本的一些公司利用层状结构的二维过渡金属碳或氮化物为电极镀上薄膜，提高导电性。

提升信号采集质量的第二种方法是改变电极结构，促进电极与皮肤的充分接触。例如，一些美国公司使用导电丝取代硅胶作为脑电采集耳塞的主要材料，提高电极的接触面积。至于半侵入式电极的研发，关注点在于改进植入方法，减少损伤。如美国的公司发展出狭缝插入法，利用振动刀片在头骨上制作400微米的切口，减少损伤，且已获得FDA的突破性设备认定，并已在手术中植入人体。

在植入式电极方面，目前的研究重点在于创新的制造工艺，例如通过微纳加工和封装技术提升电极性能。同时保证在刚性条件下电极的低损伤性，如采用血管介入电极植入法减少对脑部的损伤。还有如NURINK同类的公司会使用柔性植入式电极，因为它们与脑组织的相容性更佳。

目前柔性电极成为科研和产业阶段的热门研究对象，加州大学、上海交通大学、Neuralink等都在进行研究。柔性电极的热门材料是凝胶，因其能提高生物相容性，但其长期稳定性还需进一步观察。

至于植入方法，全球尚未形成广泛共识。有的研究团队采用聚乙二醇或蚕丝带白临时硬化技术，有的则使用自研的手术机器人植入柔性电极。第三种途径是多通道离体微电极微震技术，这有助于研究细胞的电生理特性和离子通道生物学特征。

一些美国、瑞士、德国公司已经推出相关产品。在芯片、手术机器人、分析设备、无创光采集设备以及脑电采集设备方面，也出现了一定的创新。

3. 探秘脑机接口国产化跃进

首先，在中国方面，我们注意到由于一些主要科技大国在脑机接口领域设置了技术壁垒限制技术输出。例如，美国商务部在2018年颁布了出口管制改革法案，提出禁止包括脑机接口在内的14项关键技术对中国的出口。而到了2021年，又针对脑机接口技术提出管制出口转让。因此，我国加快了国产替代和自主创新的步伐。尽管我国在该领域起步较晚，大约落后国外5到10年，但从2010年到2022年，特别是2019年到2022年，我国在脑机接口专利发表数量上的增长呈现出了极快的趋势。

在研究机构方面，通过产学研合作模式进行了协同发展。例如，清华大学的多个团队投身于产业学研究，冯雪和高晓蓉的团队开发出新型入耳式脑机接口，洪波团队开发了非侵入式和半侵入式脑机接口的解决方案。天津大学布局了脑机接口综合性的开源软件平台。中国科学院实现了多个脑机接口项目的产业化。上海交通大学吕宝良教授提出了基于多模态情感脑机接口用于抑郁症的客观评估，为脑机接口在抑郁症监测和评估方面提供了基础。

从市场角度看，目前全球关注度最高的公司之一是Neuralink。该公司加快了临床试验，包括商业化进程。Neuralink主要采用侵入式脑机接口，聚焦在恢复人类视力和帮助无法移动肌肉的人控制智能设备或恢复运动功能上。由于侵入式脑机接口技术难度较大，目前仅在小范围内进行临床试验。最新进展是，有关人类用户公布了其临床结果，显示FDA对Neuralink的临床实验持非常谨慎的态度，其临床设计是首先通过小范围试验，再逐步扩大临床试验人群。

就资本投入而言，从2019年至2021年，脑机接口领域开始获得重大投资，资金加速流入。进入2022年后，投资额有所下降。原因一方面是受一级投融资环境的影响，另一方面，从2021年开始，整个资本市场对于脑机接口相关投资的策略发生了变化，即选择的企业数量减少，但对单一企业的投资额增大，投资更为集中。技术路线方面，从2013年至2023年，大约有五十多家侵入式脑机接口企业获投，而非侵入式获投的有两百多家，可能是由于非侵入式的商业化速度较快。

在我国，特别是2021年和2022年，脑机接口领域进入融资高峰期，2014年至2023年的融资事件中有40%以上发生在这两年，融资额占比超过70%。而进入2023年以后，国内市场与全球市场一样，进入了相对冷静期，主要由于整体市场环境和投资机构的聚焦策略，倾向于投资那些开始有技术突破、进入临床实验阶段的公司或已有一定商业化基础的非侵入式公司，而不是大规模选择初创公司。目前的投资主要集中在天使轮和A轮。

4. 脑机接口医疗领域展望

从2014年到2023年的投资额来看，主要集中在康复医疗——这是医药领域中最活跃的部分。其次是脑机接口相关设备，以及消费医疗方面的非侵入式脑机接口。此外，脑电采集平台、电极和探针技术也受到关注，这些领域拥有较高的技术壁垒，企业通常规模较小，但因专精而吸引了资本投入。

全球脑机界面市场规模目前约为17.4亿美元，预计到2027年将增长至33亿美元，年复合增长率约为14%。在这个市场中，医疗领域的占比达62%，其它领域占38%。中国的脑机接口市场规模在2021年约为6亿人民币，预计到2025年将达到70亿人民币，增速高于全球平均水平。

在脑机接口在医疗领域的应用上，主要分为以下几个方面：监测、替代、改善或恢复、增强和补充。其中，监测、替代和改善或恢复是最常见的应用。这些技术主要用于治疗包括癫痫、帕金森病、抑郁症、疼痛、多动症、自闭症、截瘫、卒中、阿尔茨海默症、意识障碍和听力视力受损等疾病。中国的研发重点包括睡眠监测、卒中和截瘫预警诊断、康复以及认知训练，而美国则侧重于癫痫、帕金森病和脑损伤的诊治。此外，中国主要关注非侵入式脑机接口，而美国更倾向于侵入式脑机接口，全球范围内则以非侵入式为主，有75%的企业采用非侵入式，25%采用侵入式。

据麦肯锡预测，到2023年至2024年，全球脑机接口医疗市场的潜在市场规模将达到400亿美元，其中医疗领域占150亿美元，消费医疗领域占250亿美元，年复合增长率都在10%以上。可以理解为，消费医疗领域主要采用非侵入式脑机接口，而医疗领域则可能采用侵入式和非侵入式两种。

未来，非侵入式和侵入式脑机接口在医疗领域将长期共存，首先是以非侵入式为主，随后侵入式将有一定发展。在细分领域的应用中，如睡眠检测和干预领域，目前已有商业化产品采用非侵入式脑机接口。全球约有四十多家公司利用这种技术为消费医疗领域提供服务，同时有十多家公司将其应用于治疗睡眠障碍。参与公司可分为三类：一类是提供医用睡眠检测设备的公司；另一类是提供数据采集和分析服务的公司；还有公司开发了家用脑电可穿戴设备，利用软件远程监测睡眠状况。

5. 脑机接口助力医疗创新

第三种是睡眠检测和干预解决方案。美国的Dream项目利用声音刺激来延长深度睡眠时间。有的公司在枕头上安装扬声器，追踪用户的头部运动，通过定向聚焦刺激来治疗阻塞性和中枢性睡眠呼吸暂停。另有一些公司采用电刺激进行睡眠检测和干预。例如，比利时的公司使用植入式设备刺激舌下神经，治疗睡眠呼吸暂停，并已获得批准。

国内则更多采用监测睡眠状态和调节外部环境的方法。凌柔科技使用柔性脑电片来监控睡眠并调节光线、窗帘和香薰以改善睡眠。脑颅科技的睡眠贴也是记录脑电信号，并通过粉噪音和白噪音来实施神经调控，优化深睡时长。这些产品均已上市，并有数据证明其有效性。恼怒科技的产品在临床实验中，能使平均深睡比例提高30%，并将浅睡至深睡的转换时间缩短了大约40%。

在情绪检测和抑郁治疗领域，非侵入式产品占主导，并已有产品获批。全球约有30多家公司提供此类产品，83%采用非嵌入式技术路线。在消费医疗领域，20多家公司采用非侵入式脑机接口研发，提供情绪检测和舒缓服务。约17%的公司采用嵌入式技术路线，主要集中在美国，如InnerCommerce。非侵入式产品主要涵盖了电刺激、磁刺激和神经反馈。

抑郁症的诊断方面，上海零唯一基于多模态情感的脑机接口技术评估系统可用于诊断。红智生医利用8通道脑电传感设备结合人工智能技术，两分钟内实现诊断，临床数据显示准确率达80%，并在台湾获得药品制造许可。在抑郁症治疗方面，韩国公司通过微电流刺激舒缓和治疗抑郁，获得韩国FDA批准，并在多家医院应用。瑞金医院启动了难治性抑郁症脑机接口神经调控治疗新项目，其改善率超过60%。

韩国上市公司RayRemind使用经颅磁刺激治疗难治性抑郁症，已在临床中验证效果。以色列公司采用经颅磁刺激技术，已由FDA批准治疗重度抑郁症，并且可以用于治疗双向情感障碍、创伤性应激障碍以及神经分裂等症状，目前仍在进行临床实验。

消费医疗领域主要用于情绪监测和舒缓，各国公司推荐基于脑电传感数据的敏感训练内容等。新西兰公司利用脑机接口监测心率变异和脑电图，预警精神疲劳，推荐深度工作时间。此外，还用于注意力监测和治疗，关注注意力缺陷及多动症等认知障碍方面。例如，产品Internet植入了多通道传感器监测精神分散情况。中国国家儿童医学研究中心采用脑机接口便携式神经反馈系统训练，联合研究儿童注意力缺陷行为评估和诊疗。

6. 脑机接口·医疗应用展望

第三部分讨论的是运动恢复与功能增强。目前，许多产品正处于即将商业化或已实现商业化的阶段。全球大约有四十多家企业布局这一领域，其中包括加拿大、澳大利亚、奥地利、美国、日本和中国。大多数企业主攻非侵入式研发技术，而侵入式技术尚处于研发阶段，并未形成成熟的产品。比如Neuralink采用了嵌入式方案。

针对运动功能丧失，如中风和瘫痪患者的传统治疗，主要是通过外科手术植入电极进行刺激。目前，最新进展是一些上下肢运动功能的初步重建，但商业化程度整体不高。在非侵入式技术方面已实现一步商业化。这些产品主要面向中风、脑力衰竭、肌力无力和肌肉萎缩等患者。关键功能包括早期预警，以及通过游戏软件和虚拟现实（VR）设备或者软件配合康复机器人进行训练。相比传统康复，此类训练可以激发主动参与并形成闭环神经通路，临床数据显示结合脑机接口的康复训练效果可提升20%以上。国外研究也表明，脑损伤和中风患者在30年后仍有95%的改善精细运动技能和注意力的可能。

侵入式解决方案目前多在小型临床阶段，但整体效果相对不错。认知障碍和衰退治疗领域，主要以非侵入式为主，目前多处于临床阶段。全球约有二十多家公司参与竞争，占比80%以上的公司采用非侵入式技术。中国在这方面的研究主要由天坛医院和北京科技大学等机构领衔，同样以非侵入式为主。

创新方向主要集中在设备轻型化、提升效用，例如韩国和美国一些公司开发了微型设备，与iPhone和iPad程序联动，两分钟内检测大脑状态。第二是提升云协同分析能力，如在家佩戴脑电图设备监测患者脑电变化，并通过云平台和AI技术分析痴呆症状态，利用记忆、情感和语言课程改善状况。第三是提升安全性、效率和准确性，如以色列公司采用经颅磁刺激激发神经活动，实时绘制脑网络功能图，预测神经退行性疾病，且得到了美国FDA的突破性设备认证。非侵入式设备主要用于认知障碍和衰退的诊断，而侵入式适用于阿尔茨海默等认知障碍治疗。

在癫痫治疗方面，侵入式技术已相对成熟。全球有约六十家公司提供脑机接口治疗癫痫和帕金森等，其中71%公司采用非侵入式，29%采用侵入式。非侵入式主要用于居家癫痫监测，如Manda获得FDA突破性设备认证；侵入式则用于闭环电刺激治疗。在国内，首都医科大宣武医院为难治性癫痫患者实施闭环反应神经刺激系统辅助手术。

7. 医疗应用与挑战

脑机接口技术主要涉及将人工芯片植入颅骨，同时，颅内电极被植入大脑。该技术能够持续监测脑电节律，进而预测和阻断癫痫发作，实现闭路管理。但该领域仍存在挑战，包括对脑机交互认知的需进一步加强。目前可获取的数据多源于少量患者，存在误差风险。除此之外，高成本也构成了普及难题。

侵入式治疗方法在视力恢复和增强方面的应用正在研发阶段，目前参与的公司不足十家。研究主要涉及刺激视网膜、视皮层、视神经和丘脑外侧膝状体等结构。研究方向逐渐由视网膜刺激转向视皮层刺激，并有两条主要路径。其一是通过刺激大脑产生特定视觉图像或光幻视；加州大学和贝勒研究院对五位盲人进行了为期18个月的神经刺激器研究，无并发症的情况下诱发感知光幻影。美国公司如薇薇妮也研发出视觉假体，并获得FDA批准进行临床试验。其二是依托人工智能通过算法重构大脑视觉图像；日本大阪大学采用潜在扩散模型解码功能磁共振成像数据，瑞士洛桑联邦理工学院则利用电极和光学探针在小鼠身上进行实验。整体来说，侵入式脑机接口在视觉恢复方面的进展主要仍在小规模研发阶段。

侵入式脑机接口也被应用于恢复语言、听觉和触觉。在语言恢复领域，通过分析大脑信号和语言功能区活动，帮助失语症或构音障碍患者重新建立语言能力，并为无法进行口头交流的患者提供辅助功能，如将大脑中的信号转化为文字和语言输出。华人研究团队展示通过脑机接口操纵虚拟人帮助残疾女士重新获得说话能力。斯坦福大学开发的脑机接口装备可搜集单个神经活动，训练人工神经网络解码患者言语，实验中错误率约为23%。在听觉恢复方面，脑电系数用于评估人工耳蜗植入儿童的听力康复。触觉恢复方面，俄亥俄州立大学的研究显示，通过脑机接口放大脊髓损伤患者残余的触觉信号传递到大脑，可帮助恢复触觉和活动能力。

非侵入式脑机接口在医疗领域应用较为广泛，多款产品已实现商业化。然而，侵入式脑机接口主要还处在临床阶段，涉及的头部企业如Neuralink受到资本市场的高度关注，估值可达50亿美元。

中美两国均有公司在脑接口领域进行布局。以Neuralink为例，该公司主要研发植入式脑机接口，用于治疗失明、耳聋、瘫痪等疾病。美国相关公司多聚焦于开发嵌入式脑机接口，而中国则主要研究非侵入式脑机接口，涉及公司包括博睿康、脑强科技、念通智能、脑路科技、真挚真情生态智能等。

测绘学报 张玉鑫：高分辨率遥感影像建筑物提取多路径RSU网络法

本文内容来源于《测绘学报》2022年第1期（审图号GS（2022）104号）

高分辨率遥感影像建筑物提取在数字城市建设、地表动态变化监测及土地利用变更调查等应用中都具有重要的意义。但是高分辨率遥感影像细节丰富的特点也使得建筑物的尺度多变、结构复杂、外观各异，如何准确地从高分辨率遥感影像中提取建筑物目前仍是遥感影像处理与应用领域研究的热点和难点。

传统建筑物提取的方法主要根据建筑物特有的光谱、纹理、几何和阴影等特性，人工设计合适的特征去区分建筑物和非建筑物区域[1-3]。文献[4]通过窗口Hough变换提取矩形建筑物的角点特征，实现矩形屋顶的提取，但当建筑物角点被遮挡时，无法精确地提取建筑物。文献[5]利用了遥感影像中建筑物受光照影响产生的阴影信息对建筑物自动定位，然而排列整齐的树木阴影可能会对其造成干扰。此外，DSM数据、LiDAR和SAR数据等多源数据可以提供建筑物的高程信息，融合多源数据可以有效提高建筑物提取的精度[6], 但获得满足精度条件的多源数据需要较高的成本，具有一定的局限性。总体而言，这些人工设计的特征会随着传感器质量、光照条件、建筑物风格产生较为明显的变化，只能处理特定的数据[7]。

近年来，卷积神经网络良好的特征表示能力，使其受到了广泛的关注，在自然语言处理、图像分割、目标检测等领域都有广泛应用[8-11]。建筑物提取方法也由人工设计特征的传统方法转向学习特征的卷积神经网络方法。

文献[12]提出的全卷积神经网络(fully convolutional network，FCN)将传统卷积神经网络中的全连接层转化为卷积层，首次实现端到端训练的语义分割网络。文献[13]以FCN为基础，提出UNet，利用跳跃连接来融合深层特征和浅层特征，使得分割边缘得到提升。FCN是许多语义分割方法的基本框架，基于FCN的方法主要分为两种改进方向：①从特征图出发，扩大卷积神经网络的感受野，获取多尺度特征。文献[14]提出金字塔空间池化模块，融合不同尺度的池化后的特征图以获取全局依赖。文献[15]从原始影像中提取不同尺度的特征，之后在恢复尺度的阶段逐步融合粗糙的浅层特征及细粒度的深层特征，从而使得分割精度提升。②从原始影像出发，利用多尺度的原始影像作为输入，获取全局信息。文献[16]提出一种基于多尺度影像的全卷积神经网络，将原始影像进行不同尺度的下采样，之后分层地对其进行特征提取和融合。注意力机制[17-18]是近几年来提出的一种在空间或通道上捕获远程依赖的方法，能够有效地提高分割性能。文献[19]提出位置注意力模块和通道注意力模块去学习特征之间的空间依赖性以及通道间的相关性。位置注意力模块是对所有位置的特征加权求和，选择性地聚合各个位置的特征，使得远距离特征也可以得到关联。通道注意力模块整合所有通道之间的相关特征图，选择性地强调存在相互依赖的通道图。将两个注意力模块的结果融合可以获得更精确的分割结果。文献[20]通过输入不同尺度的影像，利用分层多尺度注意力机制，学习不同尺寸的物体在相应尺度上的权重，让网络自适应地选择最合适的分辨率来预测物体，但该方法网络结构较为复杂对硬件要求较高。

与基于FCN的主流语义分割框架不同，文献[21]提出了一种高分辨率神经网络(high-resolution network，HRNet), 该方法可使特征图保持高分辨率，在高分辨率特征图中融入低分辨率特征图使其包含多尺度信息，为网络结构设计提供了新的思路。文献[22]设计了一种双层嵌套UNet的网络结构U2Net，能够捕获更多的上下文信息，在显著性检测任务中表现突出，但其参数量较多，训练效率较低。

以往研究中，基于全卷积神经网络的建筑物提取方法基本框架以编码器-解码器结构为主[23-24]。但是该框架在编码器阶段的多次池化易丢失空间信息，使得小型建筑物难以检测；同时在解码器阶段，通过跳跃连接融合浅层特征恢复细节的效果有限，还会从浅层引入一些粗糙特征，最终进一步加剧建筑物边界的不准确[25]。除此之外，卷积神经网络提取的特征往往是局部的，基于FCN的方法缺乏对全局特征的有效利用，导致提取大型建筑物时存在不连续和空洞等情况，如图 1所示。而过于关注全局特征，忽略局部特征，会导致边缘信息的缺失。如何高效利用全局特征和局部特征，是优化建筑物提取结果的关键。因此，受HRNet和U2Net启发，本文提出一种基于RSU模块的高分辨率遥感影像建筑物提取方法：MPRSU-Net，能够在保持高分辨率语义信息的同时，融入全局特征，从而改善大型建筑物存在空洞、边缘分割不完整的问题。MPRSU-Net通过并行和级联RSU模块融合多尺度特征，之后将多个尺度的预测结果融合得到最终提取结果。在WHU和Inria建筑物数据集上的试验结果表明，本文方法提取建筑物精度高、边缘清晰、结构完整，相较其他主流方法泛化能力更强，参数较少。

本节首先介绍RSU模块的结构，然后对本文提出的MPRSU-Net进行详细说明，最后阐述了本文方法训练过程中使用的损失函数。

RSU模块是本文网络的主要构成部分，由简化的UNet结构和ResNet的残差结构[26]组成，能够捕捉输入特征图的多尺度特征和局部特征。RSU模块的超参数有L、Cin、Cout和Cmid，分别代表编码器阶段的卷积层数、输入特征图的通道数、输出特征图的通道数和中间层的通道数。本文使用RSU-L(Cin, Cmid, Cout)表示单个RSU模块，结构如图 2所示。RSU模块的输入为通道数Cin的特征图，首先通过一个3×3的卷积，将输入映射为通道数为Cout的特征图，并同时从输入特征图中提取局部特征；然后通道数为Cout的特征图经过一个简化的编码器-解码器结构，其中编码器提取出多尺度特征，编码器阶段的池化次数为L-2，L越大池化次数越多，感受野范围越大，多尺度特征便越丰富，解码器将多尺度特征编码成高分辨率的多尺度特征图；最后将第一步获得的通道数为Cout的特征图和高分辨率的多尺度特征图相加得到输出，使得局部特征和多尺度特征融合，保证特征图中的细节信息不被丢失。

MPRSU-Net的网络结构如图 3所示，主要包括两个部分：多路径特征提取模块和多尺度特征融合模块。

基于编码器-解码器结构的卷积神经网络一般过程为：由高分辨率到低分辨率获取深层特征，再从低到高恢复分辨率得到输出结果，此过程中极易丢失细节信息。而HRNet的多路径结构能够有效地解决此问题，较好地保持特征图中的细节信息；其使用多个并行的子网络提取不同尺度的特征，然后将多尺度特征在子网络之间反复交换以充分融合多尺度特征。

基于多路径结构与RSU模块，本文提出多路径特征提取模块，详细架构如图 3所示，不仅能提取多尺度特征，还能减少细节丢失。RSU模块是多路径特征提取模块的主要组成部分，其利用编码器-解码器结构从特征图中提取多尺度特征，再将多尺度特征编码成高分辨率的特征图。多路径结构通过串联RSU模块，能够保持高分辨率的特征表示，减少编码器下采样带来的细节丢失，保持高层语义信息和精确的空间定位信息，改善建筑物边界提取模糊及空洞现象。

MPRSU-Net的多路径特征提取模块由3条并行路径组成，特征图的空间分辨率分别为原始影像的1、1/4、和1/16。对于相邻路径之间的上、下采样，本文使用图 4(c)、(f)所示的方法：上采样先对影像进行双线性上采样，再将低分辨率的特征图的通道压缩，去除冗余信息；下采样时首先扩大一倍通道数，以保存高分辨率的信息，再进行池化。除此之外，常用的上、下采样还有图 4(a)、(d)对应的直接采样方法，但是这种方式很容易造成信息冗余和细节信息丢失。图 4(b)、(e)对应的是没进行通道压缩和扩增的上、下采样，但存在一定程度的信息冗余和丢失。

多尺度特征融合模块如图 3所示，首先，利用1×1卷积和sigmoid函数对多路径特征提取模块输出的多尺度特征进行预测，得到每个尺度的分类结果；然后，将各个尺度上的分类结果上采样到输入尺寸后进行拼接；最后，将不同尺度的预测结果融合得到建筑物的最终预测结果。最终的预测结果汇聚了多个尺度的信息，使得反向传播和权重更新能够利用多尺度信息。

本文使用二分类交叉熵损失函数[27]来指导网络学习，如式(1)所示

本节首先介绍试验所采用的数据集、结果评价指标及试验相关设置，之后阐述试验设计目的、结果及分析。

为证明本文方法的有效性，选取WHU建筑物数据集[7]和Inria建筑物数据集[28]两个数据集进行综合性的试验，数据集的相关描述如下:

(1) WHU建筑物数据集包括航空和卫星影像数据集，以及相应的矢量文件和栅格影像，本文选取航空影像数据集进行试验。航空影像数据集中包含不同尺度、不同风格和颜色的建筑物，如图 5所示，影像空间分辨率为0.3 m，每幅影像的大小为512×512像素，共计8188张，其中训练集、验证集、测试集分别为4736、1036和2416张。

(2) Inria建筑物数据集包含5个地区(奥斯汀、芝加哥、基特萨普、蒂罗尔西部、维也纳)的航空正射彩色影像，每个地区分别有36张尺寸为5000×5000像素的影像，空间分辨率为0.3 m，数据集示例如图 6所示。数据集中5个地区的影像季节不同，照明条件不同，有建筑物密集的城市中心，也有建筑物稀疏的山区，可用于评估模型的泛化能力。试验前，将每幅影像裁剪为500×500像素的大小，最终获取18 000张影像，其中随机抽取10 832张作为训练集，1805张作为验证集，5363张作为测试集。

本文采用精度(Precision)、召回率(Recall)、F1分数、交并比(IoU)4个指标来评价建筑物提取的准确性。精度指预测正确的建筑物像素数量占预测的建筑物像素数量的比例。召回率指预测正确的建筑物像素数量占真实的建筑物像素数量的比例。F1分数综合考虑了精度和召回率的结果。IoU是目标检测和语义分割中的常用指标，指预测的建筑物像素数量与真实的建筑物像素的交集和并集的比值。4种指标的计算公式如下

本文试验的硬件环境为Intel(R) Core(TM) i7-7700 CPU，64 GB RAM，GPU Nvidia Titan Xp(显存12 GB)，操作系统为Windows10，编程环境为Python3.6，Pytorch1.2.0。

为保证试验结果的客观性，所有试验网络均采用小批量梯度下降算法训练，使用Adam算法进行优化，初始学习率设置为0.001，批处理数量为4。训练过程中，所有试验网络从零开始对数据集迭代100次，并对影像进行随机水平翻转。

本节首先分析不同上、下采样方法对本文方法在WHU数据集上性能的影响；使用WHU和Inria数据集进行对比试验，比较本文方法和UNet[13]、DANet[19]、HRNetv2[21]、U2Net[22]4种方法提取建筑物的性能，对比方法中，DANet基本框架设置为101层的ResNet，HRNet多路径通道数设置为48、96、192、384。最后，为验证本文方法在性能和复杂度上面的平衡，对不同方法的复杂度进行分析。

为探讨不同上、下采样方法对本文方法在WHU数据集上性能的影响，在MPRSU-Net结构基础上使用1.2.1节中3种上、下采样方法进行试验，结果见表 1。表 1中结果显示，间接上、下采样方法与直接采样方法相比，精度和IoU有一定提升，说明连续采样之间添加卷积层可以减少信息损失。本文的上、下采样方法较间接上、下采样方法各项指标均有提升，表明了上采样缩减通道数可以去除冗余信息，下采样扩大通道数可以保存一定的细节信息，验证了本文上、下采样方法的有效性。

选取UNet、DANet、HRNet、U2Net 4种方法与本文方法进行对比，在WHU建筑物数据集上的可视化试验结果如图 7所示。卷积神经网络依靠卷积核提取特征，获取感受野范围有限，故提取大型建筑物时，易产生空洞现象。针对该现象，本文方法使用RSU模块融合局部特征和全局特征，扩大感受野，并在不同尺度的RSU模块之间增加信息交互，进一步提升特征聚集率。由图 7中可以看出，第1、第5个样例的影像中，存在颜色相似的地面和建筑物，一些对比方法不能正确地区分两者，导致出现将地面错误识别成建筑物的现象，而本文方法能够较为精确地区分颜色相近的地面及建筑物。此外，对于第1、第4个样例影像中颜色不一致的建筑物，本文方法可以准确提取，而对比方法错误地将其识别为背景，表明本文方法相较于其他方法能够更加充分地获取上下文信息。综上，根据目视评价，可以看出本文方法能够良好地适应不同场景的建筑物提取，在一定程度上可以改善建筑物边界不清晰、出现空洞的现象，且对于“同物异谱，异物同谱”现象可以进行较为正确地识别，结果优于其他几种对比方法。

对WHU建筑物数据集的提取结果进行定量评价见表 2。由表 2可以看出，在WHU建筑物数据集上，与其他方法相比较，本文方法在各项指标上均达到最优，IoU达91.17%，精度达95.65%，F1分数达到了95.38%，与UNet、DANet、HRNet、U2Net相比IoU分别提高了2.30%、1.96%、1.40%、0.83%，精度分别提高了2.18%、1.44%、0.73%、0.62%。

WHU数据集上的试验结果从目视和定量评价上均验证了本文方法的优越性，表明了多路径结构结合编码器-解码器结构使得建筑物的局部特征和全局特征更好地聚合，能够更好地提取建筑物细节信息和全局特征。

Inria数据集包含5个地区的建筑物影像，分别取其典型区域，提取结果可视化如图 8所示，从上到下依次是奥斯汀、芝加哥、基特萨普、蒂罗尔西部和维也纳典型建筑物的提取结果。5个地区的建筑物风格不同，且由于成像时间不同，不同地区的建筑物光谱、阴影特征并不一致。由于树木遮挡、建筑物结构复杂等情况，Inria数据集的建筑物边界不易提取。本文方法通过串联RSU模块，保持高分辨率的语义表示，减少RSU模块中编码器下采样带来的细节丢失，增加高层语义信息和精确的空间定位信息，改善建筑物边界提取模糊及空洞现象。由图 8可以看出，本文方法对不同场景下的大型建筑物的空洞现象都有所改进，提取的建筑物边缘较其他方法更为清晰，且能够更加准确地识别细长型建筑物。对于环绕型、内部存在不规则背景的建筑物，本文方法能够较好地识别被建筑物环绕的背景。综合不同地区的建筑物提取的目视效果上看，本文方法能够较为良好地适应不同场景的大型建筑物提取，边缘较为完整，能够减少建筑物漏检结果，综合表现较优，表明使用多路径结构保持高分辨率的语义信息的可行性。

对Inria建筑物数据集的提取结果进行定量评价见表 3。虽然该数据集较多建筑物被植被遮挡不易识别，但本文方法仍在各项指标上表现较好，IoU达79.31%，召回率达88.29%，F1分数达88.46%，与UNet、DANet、HRNet、U2Net相比IoU分别提高了1.34%、0.93%、0.53%、2.95%，召回率分别提高了1.85%、2.20%、1.06%、1.59%，证明了本文方法的稳定性和优越性。在该数据集上，本文方法的提取精度稍低，本文分析是由于该数据集小型建筑物较密集，影像尺寸裁剪为500×500像素，本文方法中存在较多的下采样操作，不能整除，导致部分细节信息丢失，精度较低，然而本文方法的精度较同样有多次下采样操作的U2Net方法提升了2.13%，说明了多路径特征提取的有效性。可以进一步探索RSU模块合适的下采样次数，以使提取结果进一步提升。

本文对5种方法的模型复杂度及效率进行了比较，结果见表 4。模型的计算量和参数量使用thop工具包进行统计，模型计算量与输入尺寸有关，此处输入尺寸均设置为1×512×512×3。训练时间为迭代一次WHU训练数据集所需要的时间，推理时间为在WHU测试数据集上推理所需要的总时间。由表 4可以看出，本文方法计算量较少，仅是U2Net的1/3，同时本文方法训练效率较高，仅需要U2Net的一半训练时间。综合不同方法在WHU数据集和Inria数据集上的试验结果来看，本文方法在精度和效率方面取得了较好的平衡，有较高的应用价值。

本文提出了MPRSU-Net用于改善高分辨率遥感影像建筑物提取中边界不准确、大型建筑物提取结果存在空洞等问题。本文方法通过并行和级联RSU模块，能够从浅层和深层交叉学习到更丰富的全局特征和局部特征。在WHU和Inria数据集上的试验结果表明，本文方法相对其他方法具有更高的IoU和召回率，并在性能和效率上取得了良好的平衡，能够更好地提取边界信息，且对于不同场景的建筑物都能得到良好的分割结果，有较强的泛化能力。本文方法是基于像素级别的建筑物提取，结果会存在一些非建筑物斑块，如何将建筑物实体作为提取对象将是下一步研究方向。

作者简介

往期推荐

资讯

○ 《测绘通报》企业招聘季直播，精彩即将开启！

○ 武汉大学发布2022年硕士研究生招生考试复试基本分数线！

○ 国际华人地理信息科学协会 CPGIS Awards 2022 荣誉奖开始提名

○ 5大省地震局2022年度公开招聘

○ 武汉大学遥感信息工程学院胡庆武教授课题组诚聘博士后

会议

《测绘学报》

○ 测绘学报 | 余俊鹏：附加傅里叶补偿项的卫星遥感影像RFM平差方法

○ 测绘学报 | 许彪：分区优化混合SfM方法

○ 测绘学报 | 高晓蓉：多尺度地图空间居民地语义相似度计算方法

○ 测绘学报 | 马天明：空间碎片激光测距微弱信号实时识别方法

《测绘通报》

○《测绘通报》2021年第12期目录

○ 《测绘通报》2022年第1期目录

○ 《测绘通报》2022年第2期目录

○ 地市级实景三维城市建设及应用

《北京测绘》

○《北京测绘》2022年第1期摘要推荐

○《北京测绘》2021年第12期摘要推荐

○《北京测绘》2021年第11期摘要推荐

○《北京测绘》2021年第10期摘要推荐

《测绘科学技术学报》

○ 摘要 |《测绘科学技术学报》2021年第2期摘要推荐

○ 摘要 |《测绘科学技术学报》2021年第4期摘要推荐

○ 摘要 |《测绘科学技术学报》2021年第5期摘要推荐

○ 摘要 |《测绘科学技术学报》2021年第6期摘要推荐

《地球信息科学学报》

○ 《地球信息科学学报》2022年第2期佳文推介

○ 龚健雅院士：全球位置信息叠加协议与位置服务网技术研究进展与展望

○ 佳文推介 | 大数据城市通勤交通模型的构建与模拟应用

○ 专刊征稿：社会感知与地理大数据挖掘（征稿中）

《测绘工程》

○ 摘要 |《测绘工程》2021年第5期摘要推荐

○ 摘要 |《测绘工程》2021年第6期摘要推荐

○ 摘要 |《测绘工程》2022年第1期摘要推荐

○ 佳文推介 | 单目视觉技术在室内定位中的应用研究

《中国空间科学技术》

○ 火卫二地形地貌探测综述

○《中国空间科学技术》2022年第1期摘要

○《中国空间科学技术》2021年第6期摘要

○《中国空间科学技术》2021年第5期摘要推荐

《卫星应用》

○《卫星应用》2022年第01期摘要

○《卫星应用》2021年第12期摘要

○《卫星应用》2021年第11期摘要

○《卫星应用》2021年第10期摘要

《Journal of Geodesy and Geoinformation Science》

○《测绘学报（英文版）》专刊征稿 | 地图学与地球空间信息教育：理论与实践

○ 《测绘学报（英文版）》专刊征稿 | 用于三维地理信息的摄影测量和计算机视觉

○ Xiang LI et al. | 《测绘学报（英文版）》（JGGS）精选论文

○ Jingguo LYU et al. | 《测绘学报（英文版）》（JGGS）精选论文

《Satellite Navigation》

○ 徐元博士：面向有色测量噪声下UWB/INS组合行人导航的分布式卡尔曼滤波| SANA佳文速递

○ 杨飞博士：GNSS天顶对流层精化模型的构建与分析| SANA佳文速递

○ 姚铮教授：北斗PPP服务信号调制复用方案设计与质量评估| SANA佳文速递

○ 2022征文| SatNav“普适定位、室内导航与基于位置服务”专题

《自然资源遥感》

○ 《自然资源遥感》入驻“智绘科服”融媒体平台！

○ 《自然资源遥感》征稿：“海岸带空间资源及生态健康遥感监测”专栏

○ 摘要 |《自然资源遥感》2021年第3期摘要推荐

○ 摘要 |《自然资源遥感》2021年第4期摘要推荐

《 Journal of Geovisualization and Spatial Analysis 》

○《Journal of Geovisualization and Spatial Analysis》入驻“智绘科服”融媒体平台！

○ JGSA国际期刊2021年第5卷第2期论文摘要

○ 高被引论文推荐 | Journal of Geovisualization and Spatial Analysis

《 全球定位系统 》

○ 《全球定位系统》论文推荐 | 刘光明：我国常用地心坐标系的现状与发展

相关问答

[回答]曾培养了全国著名劳动模范包起帆、李斌和上海市第一位大学生技师金玉林等一大批工程技术应用型高级人才。智能制造与控制学院继续秉承“培养上海经...