凹入式渲染解决了VR头显日益增长的挑战，提供了清晰的细节。现在，Facebook Reality Labs的工程师提出了DeepFovea，这是AI辅助的替代方法，它可以创建“合理的外围视频”，而不是实际渲染准确的外围图像。这一新过程被称为“凹入式重构”，Facebook表示，它对RGB视频实现了14倍以上的压缩，而质量没有下降。
捕获视频流时，DeepFovea仅在每个视频帧中采样10％的像素，主要但不仅仅集中在用户眼睛聚焦的区域。相比之下，仅通过散点采样外围区域，这些散点距眼睛的焦点区域越来越远。该系统使用经过训练的生成对抗神经网络，从微小样本中重建每个帧，同时依靠流的时间和空间内容以稳定而非抖动的方式填充细节。
如上图所示，从帧到帧，未完全采样的蜥蜴头基本上是无法区分的，而“重构”图像中的相邻树皮不如“参考”像素那么清晰或细腻。传统的凹版渲染系统会将这些像素描绘为低分辨率的平面阴影块，而DeepFovea保留更多的原始形状和颜色。
DeepFovea之所以重要，是因为与标准的中心渲染相比，它提供了电源效率和图像质量的出色组合。Facebook声称，渲染降低了14倍，这意味着它将能够向依赖于凝视检测的显示器提供实时，低延迟的视频，这是构建轻巧的VR和AR头显的必要步骤，该头显将显示高分辨率图形最初呈现在云端。
Facebook的迈克尔·阿布拉什（Michael Abrash）去年在Oculus Connect 5上首次暗示了DeepFovea的概念，并暗示在未来将基于深度学习眼动追踪结合在一起，以实现更高分辨率的VR头显，例如Half Dome原型。
Facebook不仅在下一代头显上使用DeepFovea，还为研究人员，VR工程师和图形工程师发布了网络体系结构的示例版本。
电科技（www.diankeji.com）是一家专注于全球TMT行业的领先资讯媒体。
作为今日头条青云计划、百家号百+计划获得者，2019百度数码年度作者、百家号科技领域最具人气作者、2019搜狗科技文化作者、2021百家号季度影响力创作者，曾荣获2013搜狐最佳行业媒体人、2015中国新媒体创业大赛北京赛季军、 2015年度光芒体验大奖、2015中国新媒体创业大赛总决赛季军、2018百度动态年度实力红人等诸多大奖。
投稿、商务合作请联络微信公众号
声明：本站原创文章文字版权归电科技所有，转载务必注明作者和出处；本站转载文章仅仅代表原作者观点，不代表电科技立场，图文版权归原作者所有。如有侵权，请联系我们删除。
