从VR手套到大脑感知，Facebook的VR延迟探索之路

近期，继讲述Facebook Codec Avatar逼真头像系统的首篇文章后，FRL再次通过博文向大家展示了用体感手套来测量VR时延，并优化用户感知性时延的一项研究。

据了解，Facebook首席科学家Michael Abrash在OC 5上就曾展示过一个体感手套研究的Demo视频，视频中，一名VR用户戴着支持手指追踪的体感手套在VR中玩抽积木游戏，当她在游戏中操控的手碰到积木后，手套就会在当下产生相应的体感反馈。

但大家所不知道的是，这款体感手套的早期版本曾受到时延问题的限制，在体感反馈、音频和视觉上都存在延迟，比如：体验者在VR中看到自己的手碰到了积木，却没能同步感受到触觉或听到声音。

为了测量并优化体感手套在VR中的时延，FRL研究人员构思了多种方法。其中一名软件工程师Forrest Smith表示：只测量软件延迟的话比较简单，有很多工具都能办到，但测量硬件延迟要更困难些。

游戏时延测量法

一开始，FRL研究人员参考游戏时延的测量办法，考虑的是如何测量输入时延。据悉，输入时延的概念很简单，打个比方：当你按下按钮后，马里奥需要多久才会跳起来？或者按下遥控器后，电视画面需要过多少毫秒才会变化？

在简单的情况中，利用智能手机就能完成时延测量，你只需要录制一段刷新率240fps的慢动作视频，然后数数帧数。

在手柄接入带LED灯的主板进行测试

或者也可以选用更优化的办法，将VR手柄接入一块配备LED灯的定制主板，当主板识别到手柄按钮信号后，LED就会点亮。然后利用高速摄像头捕捉全过程，就能实现较精确的测量。

另一种更好的方法是，制作一款黑白色调的小游戏，游戏中有一个黑色方块，当感应到按钮信号后，方块就会变成白色。然后，利用与显示屏相连的光传感器，也能测量非常精确的时延。

端对端延迟测量法

当然，上述方法只是用来测试按钮控制光子的时延，并不能测量手套内置的体感致动器的时延，原因是 ：摄像头测量法并不适用，而且体感手套使用的是手势输入，并不具备物理按钮。

端对端传输流程

此外，单独测量体感反馈的时延还不够，想要实现体感手套与VR之间的低延时体验，需要考虑的是整个端对端体验的时延，也就是说要考虑多个方面，包括：硬件追踪系统、内部软件、第三方软件、设备驱动和输出硬件。而且为了更完整的优质体验，体感反馈、VR影像和音频的时延都需要得到测量和优化。

于是研究人员想出了一种声音测量法，即：将一张实际存在的桌子与VR中的桌子对齐，然后让一个人戴体感手套去触碰桌子，与此同时VR中的虚拟手和桌子也会相碰。

在这个过程中，研究人员采用多个传感器来记录：1，一个对准桌子的麦克风，用来记录实际接触产生的声音；2，一个位于手套内的麦克风，用于记录体感反馈；3，一个记录Rift头显音频的麦克风；4，用于识别显示屏改变的光电二极管。为了让采集的音频同步，研究人员用了一个便携式录音机将麦克风的信号汇总。

此外，为了测量手势追踪系统的延迟，还使用了一个电容性电路试验板作为可敲击的实物目标，捕捉较准确的软件时间戳。

同步的音频和视频流

接着，他们将同步的4种数据流在后期音效工具Nuendo中打开，并用手标记和计算差量时间，最后得出端对端时延为300毫秒，其中约200毫秒来自于第三方软件。据悉，Facebook这款体感设备的建议刷新率为1000Hz，因此300毫秒时延带来的体验感并不够好。

而体感手套运行的软件是基于多个子系统，并以多线程运行，更新的速率各不相同。如果出现线程问题，则会造成周期浪费或信号损坏，为了查看可视化的多线程表现，FRL研究人员使用了一个叫FramePro的工具。

在完成软件线程修复后，为了验证结果，研究人员还使用了示波器（可将肉眼看不见的电信号变成可视的图像）来测量体感致动器。

感官延迟信息图

利用上述方法，FRL研究人员对整个体感手套体验进行了优化，并用直观的信息图将300毫秒时延分成为了视觉、体感和音频三个部分，其中从触碰到产生声音反馈的时延最高。而且优化后的抽积木Demo运行起来也比之前更流畅，体验者认为视觉和体感反馈几乎可以达到同步。

感知性同步

追求完美的FRL研究人员当然不会就此停止，他们继续着手研究人脑对视觉、声音和体感的实际感知。

Smith表示：人类很擅长根据多种不同的感官信息来建立对世界的心智模型，但感官有时候也会骗人，原因是大脑会将多个感官信号融合成统一的感官。也就是说，尽管你看到、感觉到并听到手指敲击桌面是三件事，但大脑会将这三种感官刺激理解成一件事。

正是因为这样，当视觉、音频、体感的时延产生差异时，时延较高的感官会拖累其他感官，比如抽积木Demo中的音频时延较高，因此会让人觉得体感时延比实际更高。这种感官的变化是人体自发且无意识的，不管你多努力去忽略音频，体感反馈的时延都会受音频时延影响。

于是，当FRL研究人员关闭音频后，体感反馈的体验感得到了明显的提升，在让许多人体验过之后，也得到了肯定的答案。

心理物理学实验

那么问题来了，能否通过调整感官刺激的同步性来营造更低时延的整体感观呢？对于体验感来讲，更加同步更重要，还是低时延更重要呢？

为了深入了解这一问题，FRL研究人员展开了一项心理物理学实验。实验第一部分是制作一款VR测试程序，参与者需要去敲打虚拟方块，同时体感手套会对整个手部动作进行追踪。这项测试的目的是，为了研究人类所能承受的视觉和体感延迟，也就是说两种感观之间相差多长时间会让人感到“未同步”。

调查结果显示，在体感反馈比视觉延迟50毫秒以内，且不比视觉超前20毫秒以上的情况，会被大部分参与者认为是同步。而在他们的抽积木Demo中，体感反馈仅比视觉延迟20毫秒，刚好在同步范围内。

感官刺激的同步性

为进一步分析三种感官的同步性，FRL研究人员整理了一个分布图。从图中来看，XY轴的原点代表听觉、视觉、体感的完美同步，x轴代表音频与视觉之间的延迟，x值为正说明音频比视频有所延迟，为负则相反。而y轴代表体感与视觉之间的延迟，分布图中的颜色则代表不同的延迟程度。

从这个分布图中，研究人员发现低延迟的范围并不是正好在原点上，而且参与者对于超前于视觉的体感或音频非常敏感。另外低延迟范围的形状更像是椭圆而不是正圆，相比音频延迟，参与者们对于体感延迟更加敏感，这也印证了之前的，音频延迟造成体感感觉更加延迟的说法。此外还发现，改变交互方式有可能会提高人对于不同步的接受能力。

FRL研究人员也表示：现在下结论还太早，实验样本量较小，而且实验也比较简单。未来的目标是，为高度逼真的场景和体验制定一系列标准，由于当前还未完成三种感官刺激同步性的研究，因此这个目标仍在进行中。