苹果MR新专利：支持眼球和手势追踪、3D感知的多传感器头显

日前，美国专利商标局发布了苹果的一项与MR头显相关的新专利，专利中指出该头显可采用两类传感器，一类用于捕捉用户面部表情、眼球活动和手势等，另一类用于识别头显用户周围环境（如支持透视、深度感知、光线感知等功能），并将头显生成的虚拟内容叠加在用户周围环境中。

苹果在专利中描述的其实是一款高配MR头显所需的大部分传感器，像HoloLens、Magic Leap也同样支持眼球和手势追踪、3D环境感知等功能。

具体来讲，苹果专利中用于识别周围环境的传感器可采用高分辨率摄像头，或者可识别深度和距离信息的传感器（如ToF等3D传感器）。而用于识别用户信息的传感器方面，其功能或包括：追踪用户位置、方向、动作等。

此外，还可采用捕捉环境光线信息（如方向、颜色、色彩强度）的传感器，用于渲染叠加在真实环境中的数字内容。同时，还可以搭载眼球追踪或手部追踪传感器（可追踪手势、五指或手臂），以及通过捕捉用户额头/眉毛、或嘴唇/下巴动作来追踪表情变化的传感器（可用于制作逼真的虚拟头像）。

除了传感器，专利还指出了头显可采用多种光学方案，比如：近眼光学，配备DLP、LCD、或LCoS屏幕；也可采用直接的视网膜投影系统。

同时，该头显还可支持一种类似于鼠标的光标控制设备，而且可以有线或无线（蓝牙）的方式与分体式计算模块相连。

专利还列举了MR头显可应用的场景，包括：提供模拟培训、游戏、远程控制无人机或机械、看视频、上网等活动。