Apple Vision Pro 的惊人功能之一是其眼动追踪系统。与所有主要的苹果设备一样，Vision Pro 的每个功能都有数十项专利，甚至更多。近日，美国专利商标局公布了苹果公司的一项专利申请，该专利将摄像头与自混合干涉测量（SMI）传感器相结合，专注于下一代眼动追踪系统。
苹果在其专利背景中指出，眼动监测技术可用于改进近眼显示器，如头戴式显示器（HMD）、AR 系统、VR 系统等。例如，注视矢量追踪（也称为注视位置追踪）可用作显示屏眼窝渲染或人机交互的输入。传统的眼球监测技术是基于摄像头或基于视频的，依赖于眼球的主动照明、眼球图像采集以及眼球特征的提取，如瞳孔中心和角膜闪光。这种眼动监测技术的功耗、外形尺寸、计算成本和延迟对于更方便用户使用的下一代 HMD、AR 和 VR 系统（例如，重量更轻、电池供电和功能更齐全的系统）来说可能是一个沉重的负担。
这就是苹果最新专利所解决的问题，即从基于摄像头的眼动追踪转向使用自混合干涉测量（SMI）或组合摄像头/SMI 的眼动追踪。
使用自混合干涉测量法进行眼动追踪
苹果的专利涵盖了利用一个或多个自混合干涉测量法（SMI）传感器追踪眼球运动的系统、设备、方法和装置。在一些实施例中，SMI 传感器可以单独使用，或与摄像头结合使用，以确定注视矢量或眼睛位置。
在第一方面，本专利描述了一种眼动追踪装置。眼动追踪设备可以包括头戴式框架、安装在头戴式框架上的光学传感器子系统以及处理器。光学传感器子系统可以包括一组或多个 SMI 传感器。处理器可以被配置成操作光学传感器子系统，以使一组或多个 SMI 传感器朝用户的眼睛发射一组或多束光；从一个或多个 SMI 传感器的集合接收一组或多个 SMI 信号；以及使用一个或多个 SMI 信号的集合来追踪眼睛的运动。
在第二方面，本专利描述了另一种眼动追踪装置。眼动追踪设备可以包括一组或多个 SMI 传感器、摄像头和处理器。处理器可以被配置成使摄像头以第一频率获取用户眼睛的一组图像；使一组或多个 SMI 传感器向用户眼睛发射一组或多束光；在大于第一频率的第二频率下，对由一个或多个 SMI 传感器产生的一组或多个 SMI 信号进行采样；使用图像集中的至少一个图像确定眼睛的注视矢量；以及使用一个或多个 SMI 信号集追踪眼睛的运动。
在第三方面，本专利描述了一种追踪眼睛运动的方法。该方法可包括操作光学传感器子系统，以使光学传感器子系统中的一组一个或多个 SMI 传感器朝用户的眼睛发射一组或多束光；从一个或多个 SMI 传感器的集合接收一组或多个 SMI 信号；以及使用一个或多个 SMI 信号的集合追踪眼睛的运动。
苹果专利图 1 显示了眼动追踪设备的示例框图；图 3A 示出了眼动追踪设备的第一个示例，其中光学传感子系统和处理器被安装到一副眼镜上；图 3B 示出了眼动追踪设备的第二个示例，其中光学传感子系统和处理器被安装到 VR 头显上；图 4A 显示了一组 SMI 传感器示例的侧视图，这些传感器可以安装在头戴式框架上，并配置为向眼睛发射光线；图 4B 示出了图 4A 所示的眼睛和 SMI 传感器组的前视图。
苹果专利图 12A 和 12B 说明了如何使用一组或多个 SMI 传感器来映射眼睛的一个或多个表面或结构。
苹果专利图 11B 示出了追踪眼球运动的示例方法，该方法使用一组或多个 SMI 传感器与摄像头或其它传感器组合。
