还记得去年HTC Vive刚上市的时候，伴随着一堆很有黑科技感的MR视频么？将现实玩家与VR虚拟世界结合的酷炫MR视频，也正是由于这些宣传视频，吸引了大量玩家。不过呢，玩家戴着VR看不到脸少了点表情，所以，谷歌就说：“来，我们弄个VR脸贴上去，看起来更真了！”
谷歌在一篇博客文章中透露，他们正在研究一个奇怪的小项目，通过将玩家的脸显示在MR视频中，让玩家在游玩过程中的表情也体验在视频中。
通过面部捕捉程序、眼部追踪及一些计算机视觉技巧，谷歌的机器感知团队设计了一个系统以获得逼真的面部反应，而这些面部表情可以通过改良版的透明头显展现出来。
根据官方博客表示，实现原理为：技术核心是使用用户的脸部3D建模作为被遮挡面部的代替
这一代替物用来在MR（混合现实）视频中来同步人脸，从而打造出被头盔遮住的面部表情。
首先，使用称之为“注视点动态外观（gaze-dependent dynamic appearance）”来捕捉用户的个性化3D脸模。先是校准步骤，需要用户站在一个颜色+深度摄像机，还有一台显示器前面，然后用眼镜在显示器上去追看一个标记。
我们用这种一次性的校准（时间花费不到一分钟）来获得用户的3D脸模，然后获得不同的凝视方向、眨眼所映射的图像（或材质）的数据库。这一“注视数据库”（也就是通过眼睛注视来对应不同的脸模材质）让我们能够在同步中动态更换脸的形象，并且生成想要的凝视视线，让同步的脸部表情看上去自然、生动。
虽然目前这张脸看上去很呆板充满喜感，但是谷歌这种钻研精神值得学习。话说也没多少人去拍这种MR视频，也就游戏宣传视频用得多........
电科技（www.diankeji.com）是一家专注于全球TMT行业的领先资讯媒体。
作为今日头条青云计划、百家号百+计划获得者，2019百度数码年度作者、百家号科技领域最具人气作者、2019搜狗科技文化作者、2021百家号季度影响力创作者，曾荣获2013搜狐最佳行业媒体人、2015中国新媒体创业大赛北京赛季军、 2015年度光芒体验大奖、2015中国新媒体创业大赛总决赛季军、2018百度动态年度实力红人等诸多大奖。
投稿、商务合作请联络微信公众号
声明：本站原创文章文字版权归电科技所有，转载务必注明作者和出处；本站转载文章仅仅代表原作者观点，不代表电科技立场，图文版权归原作者所有。如有侵权，请联系我们删除。
