乔布斯最讨厌的手写笔回归，旧瓶新用还是高瞻远瞩？

曾几何时，手写笔之于苹果，就如同疾病之于人类，两者虽无直接利益关系，但苹果却不想跟手写笔有丝毫瓜葛。

乔布斯时期的苹果对手写笔的厌恶是人尽皆知，以至于他在初代iPhone发布会上提出「谁想要手写笔？」的经典语句。这么多年过去了，尽管库克在2015年推出了iPad Pro专属的最佳搭档——Apple Pencil，但在iPhone身上可从来没有生出过配备手写笔的想法。

有趣的是，在17年后的今天，苹果似乎真的要给iPhone配上手写笔了。

美国商标和专利局（USPTO）近日公示的清单显示，苹果公司获得了一项关于 Apple Pencil的技术专利，不仅可应用于iPhone，而且可以用于增强现实/虚拟现实 /混合现实应用，也就是我们常听到的AR/VR/MR技术。

图源：Apple

消息一出，令不少乔布斯忠实粉丝沸腾，究竟是什么令苹果做出这个「违背祖宗」的决定，难道真是人走茶凉？

事实上，苹果与手写笔的渊源属实不浅，就连iPhone的诞生在某种程度上也要感谢乔布斯对微软带笔平板电脑的不满。

在1979年，苹果发布了一款绘图板（Apple Graphics Tablet），该款产品就附带有线的手写笔。并在随后的十数年间陆续设计生产了多款接近于平板电脑的原型产品，从bashful，到PenLite，再到Newton，苹果离真正的平板电脑iPad越来越近。

无独有偶，以上这些产品最终都离不开那一支神奇手写笔。如今苹果关于Apple Pencil的技术专利，暗示iPhone接下来可能也会和三星Note系列、华为Mate系列一样，支持手写笔的使用。

脱离屏幕，就能完全解放Apple Pencil？

可能有小伙伴会很好奇，究竟是什么新专利，会在Apple Pencil面市10年后才实现技术突破，并应用在iPhone和AR/VR/MR上。

别急，下面小雷就带大家捋一遍这个神秘的「Patently Apple」。

我们先看看该专利的官方描述，新款Apple Pencil配备了光学传感器，可令Apple Pencil在不具备触摸功能的表面上进行交互。该光学传感器包括光流传感器、激光散斑流传感器等，通过检测空间、时间图像亮度变化（如帧与帧之间的亮度变化），估算输入设备的运动轨迹。

简单来说，就是Apple Pencil通过光学传感器判断笔的运动，而不是必须依赖带有触控功能的屏幕才能识别。当然Apple Pencil上还附带有多个其他传感器，用于感受输入设备施加的力。

在小雷看来「脱离屏幕」正是这项技术的灵魂，这意味着用户在使用Apple Pencil时不再需要像传统书写、作画的模式，只要在识别范围内，即使隔空操作也能达到原来的效果。

图源：Patently Apple

关于具体的使用方法，苹果的专利图1A就展示了一个智能手机（iPhone#136）的示例。该手机配备了触摸屏幕#124，用户可以通过触摸屏表面#124或非触摸屏表面接受来自主动式触控笔的输入信息。

官方给我们示范了其中一个用法，但显然这个专利可运用的范围远不止我们想象的那么简单。在预测之前，小雷认为还是有必要和大家科普目前智能手写笔行业的基础情况。

目前智能笔在产品属性上大体分为内置和外置两种形式，前者与智能设备被视为同一主体，使用时在智能设备中抽出即可，放置时自动充电；后者则更像智能设别的独立配件，需要蓝牙链接匹对，在设备外置充电口进行充电。

材质方面又分为电磁笔和电容笔两大类，具体细分品类就不细谈了，Apple Pencil则属于其中的主动电容笔。

结合目前已知的iPhone 16系列爆料，接下来的iPhone产品即使支持Apple Pencil，也不会为了这一功能，牺牲手机有限的内部空间。所以大概率会采取外置的方式，这样一来，对于原本就相对小众的手写笔智能手机群体来说，使用门槛又将进一步提升。

不与手机随时合体，就意味着用户需要花费精力去思考如何携带的问题。并且在易丢失、不美观等因素加持下，即便有意向使用手写笔的用户，也容易被劝退。更别提在目前智能手机发展阶段下已被视作落后产品的手写笔了。

如今的触控屏技术早已超脱乔布斯时代的想象，双手就能解决绝大部分的日常使用需求，除了绘画、书写等行业要求外，手写笔真的没多少用户需要使用。

图源：Apple

所以小雷预测该项技术大概率是被运用至苹果即将发布的Vision Pro上。

近日苹果又获得了多项关于头显设备的专利，博主@M1Astra也曝光了Vision Pro的设置界面及其他重要信息。这款被苹果寄予厚望的颠覆性产品，距离真正上市已经不远。尽管从多位体验过该头显设备的媒体人口中，我们都得到了十分不错的评价，但其中也有对重量、续航等问题的质疑。

以上疑虑相信还是要等Vision Pro上市，才能给大家一个明确的解答。但光从此次Apple Pencil新专利的隔空触控，再加上Vision Pro的眼球追踪技术，想必将会给用户带来更多选择的触控体验。

Apple Pencil或许会成为另一种形式的传感设备，支持头显设备原生应用的使用，也有可能会被魔改成类似VR的操控手柄那样的设备。当然这一切还要等实物产品上市，我们才知晓苹果会如何运用这一专利。

旧瓶新用还是高瞻远瞩？

「Apple Pencil≠Stylus（手写笔）」

这或许是库克对乔布斯最好的回复，Apple Pencil的命名巧妙的避开了乔布斯曾经疯狂嘲讽的Stylus。

没有不尊敬乔布斯的意思，不可否认的是，科技数码行业一直在前进。许多在当年被奉为真理的言论在如今或许只能沦为笑谈，乔布斯也曾说过「3.5 英寸是手机的黄金尺寸，更大的屏幕愚蠢至极。」之类的话。事实证明，手机大屏化趋势在很长一段时间里都是厂商销量的财富密码。

图源：Apple

只能说在那个年代，乔布斯更坚持完善产品本身，坚信智能设备能够单独完成大部分工作。像iPhone、iPad、Mac等本身就是独立个体，在完成独立工作的同时，也能实现设备间的智能联动。

而现在，随着时代的发展，苹果的追求也随之发生了改变。涌现出手写笔、秒空键盘、MagSafe外接模块等配件设备，它们的出现提升了用户使用智能设备的体验感，令智能设备更好用。

从公司层面来看，配件、周边产品也给苹果带来了不菲的收入，至于官方原装产品值不值得，就要见仁见智了。

两个时代的苹果孰优孰劣，目前还没有人能给出服众的答案。专注产品本身与增添更多辅助配件两件事情并不冲突，至于这种趋势是否符合未来科技行业的发展，还需拭目以待。

CES（美国拉斯维加斯国际消费类电子产品展览会） 2024即将盛大开幕，雷科技将派出“一位天明”领衔的报道团赴美国·内华达州·拉斯维加斯 CES 2024现场全程报道，敬请关注。

光流传感器精度，影响无人机的定位稳定性，提高实时导航的可靠性

文 |古轩说史

编辑 | 古轩说史

光流传感器作为一种感知技术，通过捕捉周围环境中物体在图像中的运动变化来实现对位置和速度的估计，在自主无人机的应用中，光流传感器扮演着关键角色，可以为无人机提供实时的视觉反馈，帮助其在室内或复杂环境中实现精准的定位和导航。

与传统的GPS等定位技术相比，光流传感器在近距离、低空和障碍物密集的环境中具有独特的优势。

这一创新性技术的核心在于其能够在不依赖全球定位系统的情况下实现无人机的定位和导航，无论是在室内、城市峡谷还是森林等复杂环境中，光流传感器都能够为无人机提供实时的视觉反馈，帮助其精准感知和应对周围的变化。

通过结合先进的算法和传感技术，光流传感器能够实现无人机的自主避障、定点悬停等任务 ，从而为无人机的应用场景拓展了更多可能性。

01

光流传感器

为了实现飞行在约1米高度的四轴飞行器的相对位置导航，研究人员考虑了多种方案来添加指向地面的光流传感器，在选择相机传感器时，需要考虑到数据量、速率、内存和计算能力等因素，以适应四轴飞行器的限制。

研究人员考虑了几种不同的相机传感器选项：

Tam2： 具有16×16分辨率（黑白）和25fps帧速率，虽然在检测附近物体的运动方面表现良好，但由于固定镜头和低分辨率，对于较远的物体可能产生模糊效果。

Centeye： 提供了带有光流算法实现的分线板，适合检测附近物体的运动，然而，由于固定镜头和低分辨率，对于更远的物体可能不够清晰。

µCAM： 具有容易连接的USART接口，但最大采样率只有13fps，对于某些应用来说可能太慢。

CMUCam 4： 具有开源固件和32kB内存的微控制器板，但由于内存限制，不适合某些应用。

OV7670： VGA（彩色）摄像头芯片，分辨率为640×480，使用STM32 F4 Discovery Board进行数据处理，但由于内存限制，处理的是320×240 QVGA图像的64×64像素子窗口，实现了30fps。

ADNS-3080： 光学鼠标传感器，可用作两个自由度的光流传感器，分辨率为30×30像素，帧速率设置为2000fps，用于改善在不良照明条件下的效果。

考虑到四轴飞行器的需求，研究人员选择了适合特定情况的传感器，例如，ADNS-3080在改善照明条件下具有优势，但缺点是其软件不是开源的，因此功能较难确定，OV7670提供了彩色图像，但需要处理较大的数据量。

02

自主无人机

在四轴飞行器的硬件设计中，各种硬件组件用于高度估计的目的，其中包括红外、超声波、压力和惯性传感器，这些传感器的数据被融合在一起，以提供准确的高度估计。

为了进行位置估计，还集成了光流测量，ADNS-3080传感器使用的参数包括2000fps的帧速率、30×30像素的分辨率、400 CPI和自动快门速度，尽管在正常光照条件下提高帧速率并没有带来更好的结果。

针对每个自由度，都实施了经验优化的PID控制器，这些PID控制器级联在一起，形成一个六自由度的系统 ，高度估计和设定高度被用作高度控制的输入，通过调整总电压来控制四个电机，从而调节飞行器的升力。

在控制过程中，电机总电压被分割成四分之一电压单元，每个单元对应一个8位的值，这些电压通过姿态控制输出分配给四个电机，这种融合过程需要考虑电机的物理限制。

光流估计作为位置控制器的输入，用于前向和侧向控制，这些控制器的第二个输入是位置的设定点，可以通过远程方式更改，这种结合使得飞行器能够实现自主的三维飞行。

设定点和光学估计之间的差异被视为误差，成为两个PID位置控制器（x轴和y轴）的输入，这些位置控制器的输出作为横滚轴和俯仰轴姿态控制器的设定点。

为了调试和评估四轴飞行器的性能，研究人员开发了一个控制程序，使用Qt进行编程，该程序能够显示OV7670和ADNS-3080传感器的图像，并允许跟踪和更改参数。

在系统中，光学跟踪系统可用作参考，或者光流传感器在2D地图上跟踪飞行器的位置（以米为单位），这两个位置数据源都用于位置控制和自主飞行，通过鼠标点击，可以实时更改位置设定点，并通过蓝牙远程发送给飞行器。

该系统的性能进行了广泛的评估，包括静态位置保持、简单动态测试案例下的位置变化，以及两个复杂动态测试案例下的完全自主飞行。

03

静态位置保持

在实验中，研究人员通过手动启动四轴飞行器，然后激活位置保持功能，对其进行了测试，在这个过程中，位置控制器仅使用光流传感器进行操作，而光学跟踪系统则用于评估整个系统的性能。

在距离地面1米的空中位置上，四轴飞行器被保持静止了6分钟，在整个飞行过程中，飞行器的位置得到了持续的跟踪，光学跟踪和里程计（光流）的数据显示，飞行器相对于中心的位置标准偏差约为0.1米，双标准偏差约为0.16米。

这表示在95%的情况下，飞行器的位置变化范围在直径为96厘米（64 + 2×16）的圆内（其中64厘米是螺旋桨末端到末端的距离）。

实验中检测到一个小的差异，这与飞行器的偏航变化略有关联，实验开始时和进行到365秒时，飞行器的俯视图分别被拍摄下来，在实验过程中，飞行器在偏航轴上发生了约13°的旋转。

这种现象的解释与陀螺仪的积分漂移有关 ，由于系统没有使用磁力计来进行偏航补偿，所以偏航轴上的漂移未得到补偿，从而发生了旋转，光流计算假设仅存在平移变换而没有旋转，因此这些旋转会导致光流计算中的误差。

为了证明这一点，研究人员手动旋转了飞行器，结果光流传感器解释为位置变化，控制器试图补偿这种错误的测量，将飞行器飞向附近错误的位置。

这些结果表明，虽然光流传感器在飞行器的平移方向上提供了良好的性能，但在涉及旋转的情况下可能会出现问题，因此，在使用光流传感器进行位置估计时，需要考虑旋转对测量的影响，以确保系统的稳定性和准确性。

04

动态控制

为了深入研究系统的控制行为，一项实验被设计出来，旨在测试四轴飞行器对阶跃响应的反应，在这个实验中，飞行器最初位于坐标点p0 = (x = 0, y = 0)处，并保持其位置稳定，一个新的设定点p1 = (x = 2m, y = 0)被远程设置，要求飞行器做出相应的位置调整。

通过实验结果的图表可以清楚地证明了控制器的稳定性，新的设定点在大约3秒的上升时间内被快速达到，系统的超调量约为15%（大约0.3米），而稳定时间则在7秒至9秒之间。

最终的位置误差仍然约为0.15米，尽管这可能部分是由于缩放误差造成的，但进一步的观察表明这不是简单的线性转换导致的，研究人员认为错误的根源可能存在于其他方面。

飞行器在实现新位置时绕其俯仰轴旋转，这会在x轴上引入一个偏移，由于光流传感器对于测量位置变化的精确性受到俯仰旋转的影响，这可能是一个合理的解释。

实验结果中存在一个明显的差异，即在85秒时两条曲线之间的变化，这个时间点正是飞行器收到新设定点并开始俯仰动作的时刻。

俯仰动作（绕俯仰轴的旋转）会导致光流测量产生错误，尽管光学跟踪显示飞行器正在向前移动，但里程计却错误地显示相反的情况，这个观察结果进一步支持了飞行器在俯仰动作中可能导致光流测量错误的假设。

在最后一个实验中，研究人员进一步扩展了自主飞行的概念，将其应用于自主起飞和着陆的动作，在这项实验中，四轴飞行器被赋予一个包含六个航路点的列表，然后通过PC远程发送启动命令，飞行器从地面开始启动，依次按照航路点列表进行飞行，并在最后一个航路点进行自主着陆。

这些航路点，以米为单位，分别是w1 = (x = 0, y = 0)、w2 = (x = -0.4, y = 0)、w3 = (x = -0.8, y = 0)、w4 = (x = -1.2, y = 0)、w5 = (x = -1.2, y = 0) 和w6 = (x = -2.0, y = 0)。

为了实现这种飞行动作，使用了一个包含三个状态的飞行控制状态机：启动、飞行和着陆，在启动状态下，飞行器控制其高度并保持位置，直到达到1米的飞行高度，然后，它切换到飞行状态，按照航路点列表进行飞行。

当飞行器到达最后一个航路点时，它会切换到着陆状态，并开始执行自主着陆，通过将最终设定位置与飞行器着陆后在地面上的位置进行比较，可以测量位置误差，多次实验结果表明，四轴飞行器能够成功执行这一系列动作。

飞行器还可以通过自主飞越障碍物（如地面上的椅子）来展示其高级功能，实验结果显示了八个障碍物位置的测量结果，以及多次运行中发送远程命令和完成着陆所需的时间。

综合评估表明，在实验完成后，飞行器的最终位置误差约为0.3米，整个动作所需的时间约为30秒，飞行器始终能够在距离目标45厘米以内的地方着陆，且所有误差具有相同的符号和相似的量，可以考虑存在系统误差需要进一步调查。

系统在测量和控制光流的同时，还需要改变起飞和着陆的高度（沿z轴方向的平移），这可能是位置误差的一个解释，所使用的算法假设在空中（着陆前）以14厘米的公差到达航路点。

最终位置误差也可以通过减小这种公差并改进起飞和着陆动作来减少，这也是误差的来源，更复杂的航路点列表，也得到了实现并呈现了类似的结果，这再次验证了一个假设：起飞和着陆过程中的操纵误差是最终位置误差的主要根源。

事实证明，利用光流传感器进行自主飞行是可能的，所提出的系统能够在所有三个几何维度上执行从起飞到着陆的完整飞行，无需人工干预，因此不需要光学跟踪或 GPS 等外部参考系统。

相关问答

1无人机最后定位准确度较高,但仍存在一定的误差。2原因在于无人机采用了GPS/GLONASS双模式定位系统,可以实现精准定位,并且还加入了光流传感器和Ultrasonic...

四轴飞行器上常用的传感器有哪些拍明芯城专业人士整理有以下几种1、陀螺仪:提供飞行时的平衡参数。2、加速度:感知各个自由度的加速度信息,可以间接...四轴...

首先,小米推出的米兔遥控无人机本身的定位就是玩具,不过官方建议的使用年龄为14岁以上,所以这款米兔遥控无人机其实更适合“大孩子”来玩,而且雷军也亲自上手...

它配有了1300摄像头,支持4k超清频录制,手机App拍照。小黑侠无人机定位和旋停功能没有采用GPS。使用的是光流传感和超声波技术,所以就没有禁飞区。它拥有人脸...

没有光流厚德这个词,该当是厚德流光,指的是德泽深沉使后代受益厚德载物,源远流长,指正人该当减少。光流法的道理是一种大略适用的图像疏通的表白办法,常常设...

fcim是飞行控制接口模块。是提供给飞行控制系统的。由于飞行控制系统的主要功能是控制飞机达到所需的姿态和空间位置,这部分传感技术主要测量与飞机运动状态相...

通常,当机器人或其他设备会使用GPS独立在户外导航。然而,法国科学家已开发出一种替代方案,其形式为六足机器人,其能像蚂蚁一样导航。这个机器人被称为AntBot...A...

第一,安全飞行:遥控飞行器不同于相机和运动相机,其危险系数较高,但是如果遵守飞行守则,飞行的安全系数还是很高的。那么如何保证安全飞行呢?1.特别对于...

fcim是飞行控制接口模块。是提供给飞行控制系统的。由于飞行控制系统的主要功能是控制飞机达到所需的姿态和空间位置,这部分传感技术主要测量与飞机运动状态相...

陀螺仪是一种可以测量系统的旋转角速度的传感器,与加速度计类似的,具有x、y、z这3个轴的角速度。从理论上讲,陀螺仪是由多组可以按任意方向旋转的转动装置所组...