产业频道

2017DEAS|观界创宇刘天成:怎么构建更加真实的VR

时间:18-01-11 作者:是顾小花呀 | 浏览:0次|

4399手机游戏网讯,2017年中国数字娱乐产业年度高峰会(DEAS)于2018年1月10~11日在厦门帝元维多利亚大酒店举行。本届大会以“蕴势·激变”为主题,分为“精品游戏核心力”、“多元内容交响曲”及“数字娱乐双引擎”三大板块,就当下热点产业领域话题邀请产业代表和企业高管出席并做主题演讲。成都观界创宇科技有限公司首席执行官刘天成在本次大会上分享了主题演讲。

2017年中国数字娱乐产业年度高峰会专题爆料>>>

2017年中国数字娱乐产业年度高峰会现场图文直播>>>

 成都观界创宇科技有限公司首席执行官刘天成 

 成都观界创宇科技有限公司首席执行官刘天成

以下为演讲实录

刘天成:大家好,我是刘天成,非常感谢大家。刘天成来自于成都观界创宇科技有限公司,这是非常小众的冷门的公司,真的听过我们公司一定是在某一个特定领域扎根的公司,就是VR领域。两年前问有试过VR的举手,一堆人不理我。体现过VR,觉得VR体验不错的请举手,觉得体验不够好也举手。一半一半。一年前问这个问题大部分人都是非常不满意,说明VR从业者这些年也做了工作。当时主持人问我为什么这个行业没有起来,很大原因就是现在体验不是特别好。今天作为为数不多VR企业跟大家聊聊方向是偏技术,但是也比较有应用方向,就是怎么构建更加真实的VR。

先介绍观界科技国内比较头部做VR全景采集设备的公司,我之前担任全球VR第一款一体机的负责人。说到VR跟娱乐之间的联系很早,这机器是第一款VR的机器,也是VR的雏形,发明者是好莱坞的摄影师,因为有天摄影师觉得自己的专业设计局限,怎么拍都不是特别好。于是造了这个大家伙,把脑袋探进去就是看到无死角的画面。里面出现任何的情境,坐摩托车感觉到颠簸,有花可以感受到香气,把人完全沉浸在虚拟体验的感觉。

为什么我们到今天VR又在掀起热潮,VR跟娱乐有什么关系,很多人对VR做了定性,其实我据的四个是VR最重要的,一个是存在感。这很简单就是身临其境,无论是看电影还是玩游戏,大家都追求这种身临其境感,但是真正在运行过程中会发现树始终还是有一种抽离感。第二点是交互性,大家追求一方面是沉浸其中,一方面有交互。三是自主性,导演让你看什么你就看什么,现在VR看电影可以360度沉浸在其中,有自主性。四是多感知性,有声音、气味等等辅助的感官设备。

VR这个行业有多大,这是源引高盛的数据,说明目前最热门的娱乐行业,无论是直播还是视频娱乐或教育、医疗等行业中VR都有可能改变他们,我们就以影视业为例,VR可以带来什么改变,就是声维的改变,大家觉得说得有点,声维怎么升上去。当我们回顾整个电影时有无声到有色,从黑白到彩色,会发现一个新技术的发现总给产业带来声维性的改变,影视娱乐界下一个声维很可能就是VR。

VR为什么体验不好,技术老是上不去。坦白说跟人的天性有关,人先天就有了不起的工具,就是眼睛。两只眼睛看到的世界五彩斑斓,而且大家可以跟我做很好玩的动作,遮住右眼,再遮左眼,会发现左右眼看到我不一样,这就是人眼的视差,但是两只眼睛同时注视一个东西就不会感觉有差异,是看到特别一致的东西,很有意思,人脑可以纠错,但是机器不会纠错。

讲讲VR的全景拍摄,原理非常的简单,就是通过N多个摄像机组合捕捉到世界各个部门,再缝合起来。说起来简单,做起来难。我们能看懂的是这么多摄象头都有自己的视角,有些只有这个摄象头能拍到,但是有些地方是大家都可以拍到的,就是需要缝合的地方,所以全景摄像机解决的问题就是这么多设备在一起的时候,怎么样把那么多画面融合成一个画面,而且可以融合成天衣无缝。

说完采集,再说VR显示端,如果体验过的话第一感觉是晕,大部分人都觉得晕,也很简单,就是当人的头在晃动的时候,理论上画面会随着人移动的方向,会迅速换个方面,感觉在身临其境,但是如果时延不好,人转过去,画面还没有过去,20毫秒的时候整个人会感觉特别晕,这是人的官能冲突,跟晕车的道理一样。坐在车商眼睛看到车上跟大脑说我没动,但是身体感觉到颠簸,大脑开始互动,一个说没有动,一个说动的了,就是说中毒了,第一反映就是吐,跟晕车的原理一样,在VR环境中有时延,一个反映也是吐,一方面是解决时延问题,一方面让VR显示更加真实和立体。

在生活中有采集端不好也感觉不好,采集端最困难是缝合,如果今天不希望拍了一个VR纪录片,拍了24小时什么能够能看,大概要一个月以后,效率很低,时间很长。因为有一个画面一个画面进行拼,观界科技是全球最早一批,是研究共有算法。其实也不难,以前缝合一个画面找到一个共同点,但是公有云不是找共同点,而是找像数流,如果一起就接到一起。带来的结果就是达到1:1,甚至1:0的缝合,就是能达到无缝的VR直播。

还有一个问题,就是多镜头的智能光照平衡,每一个镜头都有一个感觉,如果做统一话就会红一块,黑一块,白一块,如果做自动色彩平衡效果会好很多。还有硬件桢同步技术,不同步就有有卡顿,不太好的感觉,就是硬件没有做到桢同步,或者需要3D全景声的摄像机。

我在整个细分市场,还是以娱乐业为主,我们也做了一些方案,比如影视教育之类,但是要提的是医疗领域类,我们做了医疗直播,虽然跟现行娱乐直播不一样,但是也有一支的部分。比如刚有直播设备的时候,就有很多平台跟沟通,说要做VR直播,但是做VR直播做着感觉并不是特别好,很大程度是因为VR直播越来做什么,如果一个直播说的情况下,可能只要看正面就够了,其他方向对我没有特别大的意义,所以VR的直播一定是需要全面场景了解的场景下肯定是最好的,比如在整个手术医疗过程,以前手术就是一个机器看到,很多学生看着手术直播进行学习。但是在整个过程中会出现非常多的问题,比如没有身临其境感,并不知道每一细节细部的动作代表什么,加入全景以后,首先让大家有宏观的视野,让大家知道在做什么。二是通过不同机位的布局在不同位置上都有360度的体验,通过这样的改变,我们这套多机位的全景手术教学方案也应用到娱乐中。在接下来会议,大型演唱会应该可以感受到这套方案带来的魅力。

当然全景也可以应用于安防业,跟数字娱乐相关性不大。除了360度全景,更提倡跟视频分析技术结合。比如人脸识别,也是很早做的一个项目,比如提倡万物识别,还有手势识别,还有行为识别,让全景视频赋予新的活力不仅仅是视频,不是看热门,而是可以看到门道,跟人工智能很好的结合。在采集端存在非常多的技术难点,这些技术难点还是会解决的,重点就说说未来可能会做什么?

刚才已经讲了现在的全景视频容易给大家看一个热闹,在于没有看过,现在看到了,所以感觉很好。但是很难让人吸引进去,很难让人看出门道,全景视频带给我什么东西是传统视频没有办法带给我的,除了全景沉浸感,折兑从业人员提出非常高的。我们从技术端改造,寻找全景计算像素深度数据,三维也是伪例题感感,是比二维多一点,貌似系立体感,但是跟真实的世界差别很大。所以有了一些同行,包括一直做工厂的人就把维度拓展到很多维,给大家身临其境的感觉。如果要达到这样的效果,深度数据就必不可少。简单说怎么叫深度数据,上次看到普通的画面,大家知道人和椅子在一起,人在房子跟前,后面有山,但是这几个谁离得近,谁离得远,是看不出来,但是如果有深度相机以后就可以非常简单的通过阴影告诉你谁离得近,谁离得远。为什么可以提供一些深度数据,因为深度数据测量的方式跟光都有关系,结构光,飞行时间、双目立体。比如可以在现有视频中插入特效,做电视叫在线包装,以前都是平面,现在可以有立体。有的深度数据以后可以在不同的深度做不同的布置,这样出来的效果就会好很多。

Depth对全景视频的意义有三个,一个是更准确的拼接,知道远近所以不会出现误拼。二是更靠谱的特效叠加,三是局部6自由度的可能。我们知道现行基本说是以三个自由度为主,如果全景视频中看到这样的桌子,现在视频可以360度转一圈,但是很难走近这个桌子,什么触摸这个桌子,相信有了深度数据以后,有光采集以后6自由度就不是问题。下一代的全景内容,实时重建是关心就是四维重建,在原有三维加上时间的维度。四维重建出现以后,对于数字娱乐整个行业都会有非常深远的影响。

以上就是我想跟大家简单汇报的关于VR采集方向的事情,时间有限也稍微偏专业化一点,如果大家有什么问题也可以台下向我发文,我很乐意跟大家一一做解答。再次感谢大家。

更多2017DEAS爆料,尽在4399手机游戏网

看精彩攻略秘籍,玩海量精品手游
  • 关注4399手游微信
  • 收藏本文