从小白到自动驾驶系统工程师9——车载视觉传感器应用

车载视觉传感器概述

相对于其他传感器，摄像头的价格相对低廉，技术成熟，有着识别车道线、车辆、交通标志等物体的基础能力，在汽车高级辅助驾驶市场已被规模使用。

目前使用摄像头的ADAS功能有：自适应巡航ACC、车道偏离预警LDW、车道保持辅助LKA、前碰撞预警FCW、自动紧急制动AEBS、交通标志识别TSR、智能远光控制IHC、自动泊车AP、行人监测系统PDS、360环视系统、倒车影相系统、盲点探测BSD、驾驶员疲劳检测DSM、全景泊车系统SVC等。

某车型前视摄像头

车载视觉传感器技术定义： 简单而言，就是用摄像头代替人眼对目标（车辆、行人、交通标志）进行识别、跟踪和测量，感知到汽车周边的障碍物以及可驾驶区域，理解道路标志的语义，从而对当下的驾驶场景进行完整描述。

车载视觉传感器优势： 摄像头在技术层面相对成熟，具有较高的图像稳定性、高传输能力和抗干扰能力，且单个摄像头成本已降到200元以下，因此单车可以配备6-8个摄像头覆盖不同角度，目前国内前后装摄像头需求量已超过8000万个。

某车型360环视界面

车载视觉传感器劣势： 摄像头对光线的依赖使其无法全天时（如夜晚）、全路况（如隧道）工作，需要其他传感器作为补充。

车载视觉传感器分类： 依据不同的图像检测原理，可分为单目摄像头和双目摄像头，根据芯片类型又可分为CCD摄像头和CMOS摄像头，等等。

车载视觉传感器的功能： 感知能力，定位能力。

感知能力 ：障碍物识别、车道线识别、交通标志识别、交通信号灯识别、可通行空间识别；

定位能力： 视觉SLAM技术，根据提前建好的地图和实时的感知结果做匹配，获取当前无人车的位置。视觉SLAM需要解决的最大问题在于地图的容量过大，稍微大一点的区域，就对硬盘的容量要求很高。如何制作出足够轻量化的地图，成为SLAM技术商业化的关键。

车载视觉传感器的关键性能：

1、微光性能：微光性能对于汽车影像系统是相当重要的，卓越的微光性能可提高在夜间等光线很暗的情况的行车安全。图像传感器厂商都以“在暗处能看见”为目标。

2．高动态范围(HDR)：HDR 是汽车影像系统应用的另一个重要特性，确保摄像机可在宽范围的光线 、黑暗和高光照对比情况下清楚地呈现场景细节，提高图像信息的精确度从而提升安全性。

3．广角鱼眼畸变校正(DEWARP)：广角鱼眼镜头用于车载影像具有宽广视野的优势，但采集到的图像信息会产生一定程度的失真，采用 DEWARP 技术可对广角鱼眼镜头所产生的视频图像失真进行实时校正，将图像复原展平。

4．图像叠加：图像叠加指通过图像传感器与图像处理辅助芯片结合使用，实现图像的延伸、缩放、右视、两板左 / 右视、三联式画面及倒车动态辅助线。图像叠加功能可以更好地辅助驾驶员看清周围环境，减少事故发生率。

单目摄像头

单目摄像头由一个摄像机+一个镜头组成。

奥迪单目

优点：算法成熟度高；

缺点：视角问题（短焦距视野广看得近，长焦距看得远视角小）、测距精度问题。

单目摄像头有一个非常重要的功能就是障碍物分类，我们都知道，摄像头获得的是照片，但是怎么让照片和照片中的物体分类对应起来呢？此时就需要引入机器学习了。

20世纪80年代末期，用于人工神经网络的反向传播算法（也叫Back Propagation算法或者BP算法）的发明，给机器学习带来了希望，掀起了基于统计模型的机器学习热潮。这个热潮一直持续到今天。人们发现，利用BP算法可以让一个人工神经网络模型从大量训练样本中学习统计规律，从而对未知事件做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统，在很多方面显出优越性。这个时候的人工神经网络，虽也被称作多层感知机（Multi-layer Perceptron），但实际是种只含有一层隐层节点的浅层模型。

2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton和他的学生RuslanSalakhutdinov在《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要观点：1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2）深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wise pre-training）来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画出数据的丰富内在信息。

深度学习 的实质：是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”是目的。

深度学习的不同在于：1）强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；2）明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。

摄像机的成像图是透视图，越远的物体成像越小。近处物体，需要用几百个甚至上千个像素点描述；而处于远处的同一物体，可能只需要几个像素点即可描述出来，这种特性导致，越远的地方，一个像素代表的距离越大，因此对单目来说，物体越远，测距精度越低。

双目摄像头

单目测距存在缺陷，双目摄像机应运而生。相近的两个摄像机拍摄物体时，会得到同一物体在摄像机的成像平面的像素偏移量。有了像素偏移量、相机焦距和两个摄像机的实际距离这些信息，根据数学换算即可得到物体的距离。

双目测距原理

根据双目测距原理应用在图像上每一个像素点时，即可得到图像的深度信息。

优点：双目能得到较高精度的测距结果和提供图像分割的能力；

缺点：视角问题，对两个镜头的安装位置和距离要求较多，给相机的标定带来麻烦，对摄像头的一致性要求非常高。

三目摄像头

由于单目和双目都存在某些缺陷，因此广泛应用于无人驾驶的摄像机方案为三目摄像机。三目摄像机其实就是三个不同焦距的单目摄像机的组合。

采埃孚三目相机

根据焦距不同，每个摄像机所感知的范围也不尽相同。三个摄像头的感知范围由远及近，分别为前视窄视野摄像头（最远感知250米）、前视主视野摄像头（最远感知150米）及前视宽视野摄像头（最远感知60米）。

由于三目摄像机每个相机的视野不同，因此近处的测距交给宽视野摄像头，中距离的测距交给主视野摄像头，更远的测距交给窄视野摄像头。这样一来每个摄像机都能发挥其最大优势，可以得到较好的测距精度。

三目摄像机能较好地弥补感知范围的问题。但是需要同时标定三个摄像机，因而工作量更大。其次软件部分需要关联三个摄像机的数据，对算法要求也很高。

鱼眼相机

之前提到的三款摄像机它们所用的镜头都是非鱼眼的，环视摄像机的镜头是鱼眼镜头，而且安装位置是朝向地面的。

鱼眼镜头是一种焦距为16mm或更短 的并且视角接近或等于180°的镜头。 它是一种极端的广角镜头，“鱼眼镜头”是它的俗称。为使镜头达到最大的摄影视角，这种摄影镜头的前镜片直径很短且呈抛物状向镜头前部凸出，与鱼的眼睛颇为相似，“鱼眼镜头”因此而得名。

鱼眼镜头属于超广角镜头中的一种特殊镜头，它可以获得较大视野，但是图形畸变严重。通过标定值，进行图像的投影变换，可将图像还原成俯视图的样子。之后对四个方向的图像进行拼接，再在四幅图像的中间放上一张车的俯视图，即可实现从车顶往下看的效果。

事件驱动型摄像头

在传统的视觉领域，相机传回的信息是同步的，所谓同步，就是在某一时刻t，相机会进行曝光，把这一时刻所有的像素填在一个矩阵里回传，一张照片就诞生了。

传统摄像头为取悦人眼而存在,应用于机器视觉并不经济。时间驱动型摄像头DVS采用新型的仿生原理图像传感器芯片，全时全速追踪运动物体，有效过滤冗余背景信息，输出运动物体的结构化场景信息，实现感知端预处理，减轻后端信号处理算法的复杂度，并使用更低的计算资源处理器来实现实时处理能力。

事件驱动型摄像头的工作机制是，当某个像素所处位置的亮度值发生变化时，相机就会回传一个具有四组数据的事件，其中前两项为事件的像素坐标 ，第三项为事件发生的时间戳 ，最后一项取值为极性 （polarity）0、1,（或者-1、1）代表亮度是由低到高还是由高到低，也常被称作Positive or Negtive Event，又被称作On or Off Event。就这样，在整个相机视野内，只要有一个像素值变化，就会回传一个事件，这些所有的事件都是异步发生的（再小的时间间隔也不可能完全同时），所以事件的时间戳均不相同，由于回传很简单，所以和传统相机相比，它具有低时延的特性，可以捕获很短时间间隔内的像素变化。

DVS的特点：无固定观察频率、响应速度灵敏、脉冲式信息读取和输出、像素电路间并行处理、主动特征提取，无多余背景信息。 自动驾驶、尤其是L4、L5高度自动驾驶，面临大量对实时和高速处理要求高、算力不可达的场景，以及一些边缘性场景（Corner Case），基于上述原理和核心技术，DVS动态视觉传感器有能力解决。比如特斯拉Model S将卡车误判为白云、Uber自动驾驶车辆夜晚撞死横穿马路的行人、以及自动驾驶车辆进出隧道光强变化等场景。

DVS技术在许多领域将有重要应用，除运用自动驶ADAS系统中外,还可应用于机器人和无人机防撞系统、体感和人机交互工业过程控制、爆炸/碰撞分析、安防监控、物联网、高速运动物体轨迹记录与实时分析等。

自动驾驶汽车主流传感器盘点

传统的汽车，由于是人为控制，对外界环境的感知、认知以及对汽车的控制都是由驾驶员来完成。或者一些稍微高级的汽车，配有高级辅助驾驶，可由驾驶员和辅助驾驶系统配合着完成这些“任务”。但对于自动驾驶和无人驾驶汽车，因为是车辆本身占据了汽车部分甚至是全部的控制权，此时便要依靠安装在汽车上各种各样的传感器协同工作，保证行车安全。

目前来看，企业应用于自动驾驶汽车的传感器主要有以下几种：图像传感器、激光雷达、毫米波雷达、超声波雷达以及生物传感器。它们依据各自不同的产品属性，在自动驾驶汽车行驶过程中各主不同的功能，以保证自动驾驶汽车的正常运行。本文盖世汽车带大家认识目前自动驾驶汽车上几种主要的传感器。

图像传感器

图像传感器又叫感光元件，是一种可以将光学图像转换成电子信号的设备，在自动驾驶汽车上属于基础部件一类，获取图像时，前期需与数字摄像头结合使用，后期则需要图像数据处理系统的支持，方能为汽车提供直观、真实的可视图像信息。其具体工作原理为：

物体在外界照明光的照射下，经成像物镜成像，形成二维光强分布的光学图像，再通过图像传感器转换成电子信号。之后，这些电子信号经图像数据处理系统的放大和同步控制处理，发送给图像显示器，便可以看到物体的二维光学图像，从而为自动驾驶汽车提供准确的驾驶环境信息。

摄像头中的图像传感器（图片来源：中国教育装备采购网）

图像传感器的工作原理（图片来源：电子发烧友）

在汽车领域，图像传感器主要应用在汽车视觉系统中，如倒车影像、前视、俯视、全景泊车影像、车镜取代、行车记录仪、正向碰撞警告、车道偏离警告、交通信号识别、行人检测、自适应巡航控制、盲点检测及夜视等，以保证视觉系统在各种天气、路况条件下，能够清晰识别车道线、车辆、障碍物、交通标志等。

根据元件的不同，图像传感器可分为CCD、CMOS和CIS三种。早期，作为固态图像传感器，CCD由于有体积小、分辨率高、灵敏度高、图像质量高等优势，一直统领着图像传感器市场。不过，CCD高画质背后也带来了一些问题，譬如成本高，由此出现了成本更低、功耗更低的CMOS传感器。

与CCD相比，CMOS具有读取信息方式简单、输出信息速率快、耗电省、集成度高、价格低等特点，在推出后很快受到了多家知名厂商的青睐。并随着技术的发展，CMOS不断缩小与CCD的差距，现逐渐发展成市场的核心。

而另一种图像传感器CIS，则多用在扫描仪中，其景深、分辨率以及色彩表现目前都赶不上CCD感光器件。

激光雷达

激光雷达是目前自动驾驶汽车上应用最广泛的传感器之一，主要通过向目标物体发射激光束和接收从目标对象上反射回来的激光束来测算目标的位置、速度等特征量，感知车辆周围环境，并形成精度高达厘米级的3D环境地图，为下一步的车辆操控建立决策依据。

与其他汽车传感器相比，激光雷达的优势在于其探测范围更广，探测精度更高。但是，激光雷达的缺点也很明显：在雨雪雾等极端天气下性能较差，采集的数据量过大，十分昂贵。特别是激光雷达线束多少直接与测量精度有关,线束越多,测量越精准，但同时价格也越昂贵。

传统机械式激光雷达

以Velodyne的产品为例，其64线束的激光雷达价格大约是16线束的10倍，而百度的无人驾驶汽车曾使用的一台64位激光雷达，价值70万余人民币，非常昂贵，不仅一般的企业难以承受，搭载了这种激光雷达的自动驾驶汽车，也非一般人能消费得起的。因此，现在激光雷达领域的企业都在努力开发新产品、新技术，力争使激光雷达朝着小型化、低成本化方向发展。其中，一个已经在试行的方法是固态激光雷达。

Quanergy S3固态激光雷达传感器

所谓固态激光雷达即去除了机械式激光雷达里面的机械旋转部件，采用电子方案来达到全范围探测，而传统的激光雷达则是通过机械旋转达到全范围探测，因此体积通常较大。

速腾聚创16线混合固态激光雷达RS-LiDAR

此外还有一种方法是混合固态激光雷达，介于固态激光雷达和机械式激光雷达两者之间。从外观上，混合固态激光雷达几乎看不到传统激光雷达的旋转部件，但其实内部仍存在一些机械旋转部件，只是这套机械旋转部件做的非常小巧，并且藏在机身内部。

技术上来讲，目前传统激光雷达技术已经很成熟，而固态激光雷达和混合固态激光雷达尚处于起步阶段，因此各企业当前在自动驾驶汽车使用的激光雷达，多以机械式激光雷达为主。而从整个激光雷达行业来看，高精度车载激光雷达产品生产商主要集中在国外，如美国的Velodyne、Quanegy，德国的IBEO，国内近几年也开始出现一些专注于车载激光雷达的企业，以及一些从其他领域转行而来的激光雷达企业，因看中自动驾驶汽车广阔发展前景，纷纷投身车载激光雷达产品的研发，目前来看成果显著。

毫米波雷达

同激光雷达一样，毫米波雷达也是现在应用于自动驾驶汽车ADAS系统的一种主流传感器。其波长介于厘米波和光波之间，波长短、频带宽，具有穿透雾、烟、灰尘的能力强，可全天候工作，体积小巧紧凑，识别精度高等优点，能帮助自动驾驶汽车准确地“看”到与附近车辆之间的距离，从而为司机提供变道辅助、自主控制车速、碰撞预警等帮助，提高驾驶舒适度，降低事故发生率。且价格方面，毫米波雷达单价远低于激光雷达，是一种相对容易得到的传感器技术。

目前特斯拉的主力车型上搭载的都是毫米波雷达

按照目前的主流分类，汽车毫米波雷达频率主要包括77GHz和24GHz两种，其中前者波长更短，探测距离更远，因此多用于前方车辆检测；而后者则通常用在车辆周围的检测，如盲点检测。此外，也有一些其他频段的毫米波雷达，如日本的60GHz以及台湾使用的79GHz。

从整个毫米波雷达行业发展来看，无论系统还是器件，核心技术目前仍掌握在国外企业手中，如系统领域的博世、大陆、德尔福等，器件方面的飞思卡尔、英飞凌、意法半导体等。不过，近几年国内也涌现出了一些毫米波雷达相关公司，加速了行业的发展。有专家认为，相对于摄像头方面的激烈竞争，毫米波雷达更有创新性，潜在的市场空间更大，机会更多。特别是77GHz，未来有望成为毫米波雷达主流，而在国内，加快开发国产的77GHZ毫米波雷达芯片并尽快车载应用，将是我国汽车毫米波雷达产业的机遇。

超声波雷达

在上图特斯拉的Autopilot系统中，除使用到了毫米波雷达，其实还用到了超声波雷达。据了解，在特斯拉装备的自动驾驶辅助套件中，同时用到了摄像头、超声波雷达和毫米波雷达三种传感器。其中，超声波主要用于泊车测距、辅助刹车等，量程较短。

采用超声波雷达测距时，超声波发射器先向外面某一个方向发射出超声波信号，在发射超声波时刻的同时开始进行计时，超声波通过空气进行传播，传播途中遇到障碍物就会立即反射回来，超声波接收器在收到反射波的时刻立即停止计时。计时器通过记录时间，就可以测算出从发射点到障碍物之间的距离。

超声波雷达在汽车上的应用

在倒车辅助过程中，超声波传感器通常需同控制器和显示器结合使用，从而以声音或者更为直观的显示告知驾驶员周围障碍物的情况，解除驾驶员泊车、倒车和起动车辆时前后左右探视所引起的困扰，并帮助驾驶员扫除视野死角和视线模糊的缺陷，提高驾驶安全性。

使用效果上，超声波雷达穿透性强，测距的方法简单，成本低。不过，由于超声波是一种机械波，其使用效果会受传播介质的影响，例如受天气情况的影响，在不同的天气情况下，超声波的传输速度不同，而且传播速度较慢。另外，当汽车高速行驶时，使用超声波测距无法跟上汽车的车距实时变化，误差较大，影响测量精度。

生物传感器

汽车科技的快速发展，让汽车技术迭代加速，一些新的技术、产品也由此而生，如生物识别。所谓生物识别技术是指通过人类生物特征进行身份认证的一种技术，这些生物特征通常包括指纹识别、虹膜识别、视网膜识别、面部识别、DNA识别等具有唯一性的、可以测量或自动识别验证、遗传性或终身不变的特点。其中，指纹识别和面部识别目前已应用在自动驾驶汽车上，生物传感器也由此得来。

生物传感器是一种对生物物质敏感并将其浓度转换为电信号进行检测的仪器，由于其感应对象是人体特征，而人体特征具有不可复制的唯一性，可以说比其他很多方法能更好地保证行车安全，同时还可解放驾驶者双手、增加驾驶乐趣。

2017 CES上，大陆集团就推出了这么一项车载生物特征识别技术。据了解，通过该面部识别技术乘员可对座椅位置、后视镜角度、音乐播放、温度调节以及导航等多种车载功能进行个性化设置。且只有在驾驶员通过指纹传感器完成身份验证后，驾驶员才能启动发动机，大大提升了车辆安全性。而除了大陆，博世、FCA集团的克莱斯勒也都有类似的技术。

盖世小结：以上几种传感器都是目前自动驾驶系统研发过程中，应用比较广泛的传感器。从功能上来看，它们各有自己的优缺点，能分别从不同的方面保证自动驾驶汽车行车安全。不过，其中部分技术目前在国内尚不是很成熟，产品需要依赖进口，这就要求国内相关企业加速产品、技术研发，提升自身产品竞争力的同时，还可以推动国内自动驾驶汽车技术的快速发展。

汽车行业干货（必读）

相关问答

所以,传感器在自动驾驶的重要性无需赘言。无论是特斯拉、谷歌、丰田还是百度,无论是企业巨头还是发展新星,在他们对于无人驾驶汽车的研究上,无一不在传感器上...

车用传感器技术在众多车联网技术当中,传感器技术是一项很基础的支撑技术,在目前阶段,传感器以及涉及汽车的方方面面,比如说车速的监控、温湿度、刹车、燃料监...

[回答](2)电阻测量拆下车内温度传感器,测量插接器的端子1和端子2之间的电阻。电阻应随温度的升高而减小,在25℃时,电阻应为1.65~1.75kΩ,在40℃时电阻应为...

车载冰箱温度传感器的阻值大小有10k的100k的,不同的车型电阻的大小是不一样不同温度下阻值不一样。不过一般来说,电控冰箱的温度传感器阻值差不多是在5K欧姆...

车载传感器种类包括:空气流量传感器、发动机转速传感器、氧传感器、火花爆震传感器、冷却液传感器、歧管绝对压力(MAF)传感器、燃油温度传感器、电...

激光传感器工作时,先由激光发射二极管对准目标发射激光脉冲。经目标反射后激光向各方向散射。部分散射光返回到传感器接收器,被光学系统接收后成像到雪崩光电...

车载传感器根据功能不同分为以下几类:按传感器的物理量分类:可分为位移、力、速度、温度、流量、气体成份等传感器;按传感器工作原理分类:可分为电...

1、打开冰箱找到恒温器。冰箱温度传感器一般安装在冰箱内与冰箱灯合为一体。2、用十字螺丝刀拆下温控器盖上的两个固定螺钉,螺钉的拆卸需要使用专业螺丝刀,不...

车载冰箱温度传感器故障可能是由于多种原因造成的,例如传感器损坏、连接线不良、电路板故障等。以下是一些可能的解决方案:1.检查传感器:首先检查传感器是否...

车载毫米波雷达是一种使用毫米波段的雷达技术,通常用于汽车主动安全系统。它通过发送和接收无线电波来检测车辆周围的物体,如障碍物、道路和速度。毫米波雷达...