9月26日，2016中国VR生态峰会将在杭州梦想小镇盛大开幕，本次峰会由中国图象图形学学会指导，电科技网（www.diankeji.com）和传媒梦工场主办。本次大会聚集了来自全球500多名高层代表、200多家虚拟现实产业链的优秀公司和十多家知名投资团队等。
2016中国VR生态峰会以“感知·连接”为主题，旨在为全球VR领域精英人物、领军企业、知名机构及普通创业者搭建专业化的交流分享平台，共同探讨VR产业现状及发展趋势，共享VR发展成果。
近期，国务院在正式印发的《“十三五”国家科技创新规划》中指出，研发新一代互联网技术发展自然人机交互技术，重点是智能感知与认知、虚实融合与自然交互。随着虚拟现实（VR）技术被国务院再一次提及之时，工信部和发改委也在近日联合制定的《智能硬件产业创新发展专项行动》中表示，要将VR、AR列为发展重点。
针对目前VR行业急需解决的内容生成和内容交互问题，清华大学软件学院博士徐枫提出了利用光场解决内容交互的问题。什么是光场？他解释道，光场是学术化的概念，是光最基本的表达方式，对虚拟现实的产业应用有非常大的意义，它在整个人类自然科学中也扮演着非常重要的角色。
“我们认为有了光场之后，新一代的内容生成是这样的。首先利用相机拍摄光，拍了光之后对建模进行优化，实现了第二步光场重建，也就是说把光场重建出来，也就是说能用计算机恢复光场，把现实中的素材转化成虚拟现实的素材。通过光场重建获得的光场，可以把光照、运动的信息分离出来，把信息分离出来之后，可以分别改变这些信息，或者在信息上做一些创造，实现三维内容的合并，可以呈现更精彩的信息。”在交互上，可以通过光场的技术，去对动态的自然世界进行重建和识别，引入光场以后，在交互方面可以实现更准的信息。
以下为徐枫演讲全文：
感谢美女主持的介绍！今天非常荣幸地来到中国VR的生态峰会，能够在峰会上跟大家分享我们的一些想法和研究的成果，也非常荣幸能够认识很多VR产业界的同仁。我今天分享的题目叫做《虚拟现实中的核心技术研究》，这里面主要包括我们对现在的虚拟现实中的核心技术分析，以及我们对这些核心技术所做的自己的研究成果。我所在的研究团队是戴琼海教授所领导的，我作为团队的成员来向大家做分享，希望通过我的分享，能够让大家了解我们所做的工作，也希望将来有幸和在座的同仁一起，把我们的技术更广泛地推广到VR的产品或者是技术当中去，能够为中国VR事业的发展做添砖加瓦的工作。
我的报告分四个部分：第一，虚拟现实的历史与发展现状。第二，虚拟现实的技术瓶颈及我们针对技术瓶颈所做的工作；第三，动态广场的采集和重建；第四，总结和展望。
虚拟现实的历史与发展现状。从1968年开始到现在，我们看到这样的大公司纷纷布局虚拟现实的产业，由此让我们感觉到虚拟现实即将迎来飞速发展的时期。除了大的公司之外，我们发现各国的政府也对虚拟现实开始进行一个很重要的布局，像欧洲、日本、美国、中国都对虚拟现实进行了一些重要的布局，这里面比较值得一提的是在前不久杭州G20峰会上，习近平书记也对虚拟现实整个行业或者说产业给予非常高的评价，认为我们将可能改变未来人民的生产方式和生活方式，这都对我们VR业或者是学术界的人，都给予非常大的鼓舞。
同样的，与此同时我们也看到了投资也在以难以置信的速度进入我们这个行业，虚拟现实开始在非常多的应用领域有了更广泛的应用，甚至可能会对有些领域的原始操作方式产生革命性的变化，这是令我们从业人员非常欣慰的事实。与此同时，虚拟现实的技术得到了飞速的发展，我们可以看到虚拟现实的专利数在近些年有了非常迅猛的发展，不光是在我国，在世界各地都是这样的现象。
我们看到了虚拟现实的蓬勃发展，我们接下来看看虚拟现实中是否还存在技术上的难点问题，有待于我们下一步去解决。这里面是我们勾勒的一个简单的虚拟现实的框架，我们先看最下面，我们说在虚拟现实或者说没有增强现实技术之前，我们主要存在两个世界，一个是人的主观世界，再一个是我们右边看到的自然的物理世界或者说是一个客观世界。没有计算机技术之前，我们可能就是主观的世界和客观的世界进行交互，我们人通过行动以我们的主观意识改造客观世界。我们的客观世界，也以丰富的信息给我们人类以反馈。所以之前我们都说最基本的交互，或者说最基本的生产和生活的方式，就是这个主观世界和客观世界的关系。
后来随着计算机技术的发展，以及虚拟现实和增强现实技术的发展，我们可以看到我们又存在了或者说我们又创造了这样一个虚拟的世界，就是这里面显示的。有了虚拟现实之后，会对我们的生产方式进行改变，主观和虚拟世界进行了一个交互，我们把它称之为内容的交互，它核心的问题比如说我们如何把人的行为中蕴含的隐秘的信息提取出来，传递给我们的计算机，计算机对应修改我们的虚拟世界，同样虚拟世界也会给主观世界以反馈。我们建立了虚拟世界和主观世界的关系之后，同样还有另外一个关系需要我们建立，就是客观世界和虚拟世界的关系。
比如说现在的VR各种各样的产品中，它的内容都是跟我们客观世界息息相关的，我们需要一方面从我们客观世界中获取信息，把这些信息转化成虚拟现实的内容，或者我们可改造虚拟世界已存的内容，对这些信息以改进，然后进入虚拟的现实世界。有了虚拟现实和增强现实的技术之后，就是存在这样的两大核心技术，就是我这里面所描述的沟通主观世界和虚拟世界的内容交互问题，还有是沟通客观世界和虚拟世界的内容生产的问题。这样的两大问题，同样我们需要有一些核心的技术去解决这样的两大问题，才能使我们的虚拟现实的技术逐渐走向更成熟。
我们讲到了内容，讲到了交互，我们先看一下内容和交互的现状是什么。比如说我们先说内容，我们说现在的内容还存在内容资源稀缺的问题，比如说VR视频内容都以5分钟的短片为主，再加上VR的游戏和游戏Demo。这样的数据规模和传统内容分发平台相比还远不是一个量级的。在三大分发平台上，VR资料的数据量也只在几百的范围。从这里面可以看到，这样的数字难以支撑一个非常庞大的VR产业，所以这是VR量上的问题。其次再谈一下VR的质量，现在的VR质量也同样存在真实度低、沉浸性差的问题。比如说两大类的VR技术，第一类是通过虚拟现场的技术生成虚拟现实，我们现在可以看到虚拟生成的人物真实度和我们现实中看到的人物还是有非常大的差距。还有另外一个VR技术是通过数据采集，然后拿到数据当中显示，它只是一个2D全景，质量上也欠缺。政府部门也意识到这样的问题，我们现在存在着虚拟现实的内容短板的问题。
讲完内容之后，我们再看看交互。我们说现在的虚拟现实的传统交互技术还依赖于负责的硬件，而且它的交互自由性还是受到很大的限制。比如说我们可以看到现在的虚拟现实用的比较多的交互设备是手柄、数据手套、位移采集设备，都是非常庞大，穿戴起来比较复杂和繁重，而且由于这些设备的存在，其实是对用户自由的运动、自由的交互方式构成一定的干扰。此外这样的交互设备，一种设备只能处理一种方式的交互，如果你想非常自由通过不同方式进行交互，我们还要客观很多设备协同发展的问题。所以我们现在这种交互技术，距离我们科幻片里所描述的非常自由的人机交互，不需要佩戴任何的设备，只需要通过你的手势、眼神进行人机交互，还是有非常大的差距。
怎么样去解决内容生成和内容交互的问题？在我们的研究团队里面，我们提出利用光场解决内容交互的问题。什么是光场？光场是学术化的概念，是光最基本的表达方式。我们大家都很清楚光，光是物理世界中视觉信息的载体，我们人类所接受到的视觉信息100%都是靠光来产生的。所以我们通过光场，无非是想利用光的信息、光的属性，去获得场景中的视觉信息。比如说我们怎么用光场做内容交互？实际上我们可以用相机拍摄用户的运动，把用户对应的视觉信息捕捉下来，通过用户信息去提取运动信息。另外一方面我们通过相机拍摄客观世界，把客观世界信息转化成数字化的计算机可以处理的信息，对应可以生成虚拟世界。从这两者来看，我们利用光场的技术，有望解决内容交互和内容生成方面的核心难题。光场的技术，对虚拟现实的产业应用有非常大的意义，它在整个人类自然科学中也扮演着非常重要的角色，
有了光场之后，我们可能会对现有的交互和内容生成做怎么的改革？首先我们看内容生成，我们认为有了光场之后，新一代的内容生成是这样的。首先利用相机拍摄光，拍了光之后对建模进行优化，实现了第二步光场重建，也就是说我们把光场重建出来，也就是说我们能用计算机恢复光场，把现实中的素材转化成虚拟现实的素材。我们通过光场重建获得的光场，可以把光照、运动的信息分离出来，把信息分离出来之后，我们可以分别改变这些信息，或者在信息上做一些创造，实现三维内容的合并，可以呈现更精彩的信息。
我们讲完了内容生成之后，我们再看一下内容的交互。我们可以通过光场的技术，去对动态的自然世界进行重建和识别。我们可以去拍摄人的手势的视觉信息，从中进行手势的识别，那就可以实现手势的交互，摆脱传统的手柄、数据手套的设备。同样我们可以利用视觉信息进行眼球的跟踪，实现注视点的交互，取代现有的鼠标和触屏的操作，同样可以实现表记运动捕捉，实现动作的交互。这也是引入光场以后，在交互方面我们可以实现更准的信息。
光场可以对内容交互和内容生成产生非常重要的意义，同时现在有面临着很多难点的问题，现在有三大难点的问题：第一，如何使我们的重建更加精准？因为只有你实现了非常精准的呈现，你才能在最终的虚拟世界中呈现更高的真实感。我们除了希望有更高精准之外，我们希望还有便捷实时的特性，像手机、PAD的简单设备实现我们的光场实现，由此实现便捷自由的交互。第三点，除了对现实进行采集之外，我们可以对已有的素材，比如说现在大量存在的图象视频的素材进行升级，我们可以把平面的视频转化成立体视频，这样就可以大家解决虚拟现实片源不足的问题。
所以针对这三方面的难点，我们分别开展了一些工作，也就是我今天索要讲的动态广场采集与中间的部分。这里面分别面向刚才说的三个问题，有精准呈现、便携实时重建、平面立体重建三方面的内容。首先是第一个是精准呈现，采用多视点便光照采集系统，构建40相机、680个光源组成多视角照采集装置，获得微秒级协同采集控制，为高精度建模提供支撑。我们的目标集中到静态采集的精度上，我们可以利用前面的技术，对人的三维模型进行非常精准的呈现，就如右上交的效果，我们的重建精度也是拿到国际平台上进行评测，我们排到第一，重建精度差达到了3%。我们除了静态重建的同时，我们把目光扩充到动态产品中，比如说我们可以对人的动态运动进行重建，重建过程中不需要在传统技术上在人的身体上做各种各样的标记点，可以直接对视频进行重建，提高采集时间分辨率1个数量级，这刚刚的视频，所以这是一个动态的重建的效果。
在重建三维模型基础上，我们还对其他的重要视觉信息做了拓展，比如这里面我们把光照信息进行了抽取，然后进行重新生成的过程。所以我们看到演员采集的光照和最终生成的三维呈现的效果不一样，我能保证所有的物体在一致光源下生成出来。在光照的基础上，我们对人的运动也做了一些拓展，比如说右边看到的真实人的运动，其实都不是人做的，都是计算机合成出来的。我们可以通过场景的采集获得人的运动信息，在这之后你可以自由地控制人的运动，产生你希望的运动效果。我们还可以把这样的运动嵌入到真实的背景视频中，我们把一个女孩走路的动作嵌入到视频中，这个女孩就像真正在走路一样，所以这改变了现有的产业，也许我们可以在未来看到纯由计算机生成的电影视频的存在。
在这之后我们还处理了复杂的运动，我们可以处理多个人交互的运动，这个技术也是在国际学术界获得了很高的评价，因为在之前的技术中，可能对复杂的多人体运动，一直是一个非常难以攻克的难题。我们也把我们的光场采集的技术做了拓展，我们在其他的应用上做了改进，除了2005年、2008年两套系统之外，我们还专门搭建小的系统，专门进行人脸的采集。我们曾经搭建了一个非常巨大的采集系统，目的就是能够重建出一些更大尺度、更大范围的人或者是物体的运动。我们利用采集系统，也跟一些企业进行合作，三维人脸数据对人脸识别非常重要，所以我们跟百度合作建立了三维人脸数据库。
以上主要是对精准重建方面所做的工作，接下来我们在便携实时呈现上也做了拓展。这个工作不再需要庞大的设备，我们只要一个单一深度摄像头，服装上的褶皱的变化，都可以通过我们的技术采集出来。我们又继续拓展我们的技术，让我们的技术能实时。这个视频当中我们可以看到，我们一边通过使摄像机采集演员，一边可以把大屏幕上把演员表面的属性都呈现出来，有了这些属性之后，我们可以在虚拟的环境中，比如说可以在教堂里面生成人物的运用，所以这个技术的特点是只需要简单的设备，而且它可以实时输出我们的结果。
除了对人物或者是小规模的目标进行重建之外，我们还尝试面向虚拟现实，我们想对一些更大规模的场景进行重建，比如说这里面我们看到的利用普通的手机设备进行的采集系统，它可以对360度的场景进行采集，你可以通过虚拟现实欣赏这样的环境，我们的采集包括360度的信息，所以跟传统的全景图相比，它的立体效果有很大的提升。我们也把我们的技术做了一些应用，比如说应用到现在的VR录播或者是直播的环境中，比如说网络直播和舞台剧包括电影、室内和室外的一些表演，我们都把我们的技术进行了一些应用，做了一些直播和录播的工作。
最后我们再来谈一谈平面立体生成的技术。平面立体生成的目标是能够从已有的平面视频中发觉立体信息，把现有的平面视频转化为立体视频，大家接触最广的就是泰坦尼克号，它本来是2D的视频，后来被一些公司转化成3D的视频。我们利用深度学习的技术，我们提出了深度学习的机制，利用很大量的训练机制，能够用计算机自动从平面视频中提取立体的视频，这样平面视频转立体的效率有极大的提升，不再依赖于人类的手工操作。深度转化的质量也是有保证的，我们可以看到非常暗的场景，或者颜色均匀、复杂的场景，我们都可以得到这样的信息。通过实验，我们可以看到最新立体信息转化的技术，其实已经达到了专业立体训练师的水平。
最后有一些总结和展望。现在的虚拟现实是机遇和挑战并存，首先虚拟现实和增强现实产进程发展非常高速，这就对虚拟现实的内容生成和交互技术的突破，产生了一个与日俱增的迫切需求。但在这样的机遇同时，我们还面临非常大的挑战，现有的技术还严重依赖于复杂的硬件和大量的人工操作，它逐渐成为影响虚拟现实发展的制约因素。我们想做的动态光场采集与重建的技术，将为上述问题的解决提供一个强有力的技术支撑与保障。我们希望在未来，我们能够把我们说大难点产生融合，我们希望同时实现实时、高精、便携的重现，为虚拟现实的拓展做贡献。以上是报告的全国内部，最后要感谢中国VR的生态峰会，也要感谢国家自然科学基金委对我们的贡献，还要感谢清华大学款待网及数字媒体实验室！我们的研究生团队在光场采集和重建领域也是很耕很多年的团队。我要讲的就是这么多，谢谢大家！
电科技（www.diankeji.com）是一家专注于全球TMT行业的领先资讯媒体。
作为今日头条青云计划、百家号百+计划获得者，2019百度数码年度作者、百家号科技领域最具人气作者、2019搜狗科技文化作者、2021百家号季度影响力创作者，曾荣获2013搜狐最佳行业媒体人、2015中国新媒体创业大赛北京赛季军、 2015年度光芒体验大奖、2015中国新媒体创业大赛总决赛季军、2018百度动态年度实力红人等诸多大奖。
投稿、商务合作请联络微信公众号
声明：本站原创文章文字版权归电科技所有，转载务必注明作者和出处；本站转载文章仅仅代表原作者观点，不代表电科技立场，图文版权归原作者所有。如有侵权，请联系我们删除。
