Apple通过一项新公开的专利,在空间计算领域持续推进技术研发,这项专利重新构想了头戴式显示器、可穿戴设备等产品的手部追踪实现方式。
该发明概述了一套系统方案,将可穿戴配件——最具代表性的就是Apple Watch——与搭载摄像头的设备配对,在实现精准手部追踪的同时,大幅降低功耗。该专利的核心,是解决扩展现实(XR)系统中最棘手的难题之一:持续基于摄像头的追踪所带来的巨大电量消耗。
该专利提出一种混合追踪模型,可智能在摄像头输入与可穿戴传感器数据之间切换。传统手部追踪高度依赖摄像头,通常需要多组镜头并持续进行图像处理,会快速耗尽电池电量。Apple的方案则尽可能降低这种依赖,仅在必要时启用摄像头。
系统首先进入基于摄像头的初始化阶段:由头戴式设备拍摄用户手部与可穿戴设备的画面,在两台设备之间建立统一的坐标系。
初始化完成后,系统切换至低功耗追踪阶段,由搭载加速度计、陀螺仪等运动传感器的可穿戴设备接管追踪工作。在此阶段,摄像头可关闭或进入低功耗模式,显著降低耗电量。
该方案最突出的创新,是Apple实现了将持续手部追踪与不间断视觉输入解绑。系统不再全程依赖摄像头,而是通过传感器融合与预测算法,仅依靠运动数据即可维持精准追踪。
这标志着手部追踪从:以摄像头为主的追踪方案转向以传感器为主、摄像头为辅的追踪方案。
通过这一设计,Apple不仅降低了功耗,还减少了对多摄像头或深度传感器的需求,而这些组件在当前XR设备中十分常见。
为长期保持追踪精度,系统还加入第三个阶段:周期性漂移校正。由于纯运动追踪会逐渐出现偏差,系统会实时监测置信度,仅在必要时重新激活摄像头。
当检测到漂移时:
摄像头重新启动
采集新的图像数据
融合算法对系统重新校准
校正完成后,摄像头可再次关闭,系统回到低功耗状态。这种自适应摄像头启用机制兼顾了能效与精准度,无需持续进行视觉处理。
这项专利明显指向Apple设备间的深度融合,尤其是Apple Watch与未来头戴式系统的联动。这款可穿戴设备将直接充当运动控制器,可追踪手部位置与手势,无需用户的手始终保持在摄像头视野内。
这可能对以下领域产生重大影响:
增强现实与虚拟现实体验
Apple全平台的手势交互界面
空间计算设备的续航提升
同时也契合Apple的整体战略:将智能算力分布在多设备间协同,而非集中在单一硬件上。
尽管Vision Pro等产品已支持手部追踪,但该专利指向的是目前尚未完全实现的能力:极少甚至无需启用摄像头即可实现持续手部追踪、Apple Watch作为XR系统的主要输入控制器、在纯传感器模式与摄像头辅助模式间智能切换、降低未来头显设备的硬件配置要求。
这些功能有望打造更轻薄、更高效的设备,同时保持高质量交互体验。
Apple表示,该发明可应用于多种设备,包括:头戴式系统、智能眼镜、投影式系统、平视显示器(HUD)、集成显示功能的汽车挡风玻璃、集成显示功能的普通窗户、做成隐形眼镜样式的眼部镜片显示器、智能手机、平板以及台式机/笔记本电脑。
Apple这项最新专利,体现出向高能效、分布式传感系统的战略转向。通过将可穿戴设备运动数据与选择性摄像头输入相结合,Apple正在为更实用、更易普及的空间计算体验打下基础。Apple不再单纯依赖日益复杂的摄像头阵列,而是探索如何利用自身生态——尤其是Apple Watch——在重新定义用户交互中扮演核心角色。
