1
雷锋网按：本文作者星佳（微信公号：星佳是个小人物），目前虚拟现实行业从业者，从事新媒体、虚拟现实、增强现实等研究。
如果你还没有看过那篇“处心积虑”和团队小伙伴们研发的MR教程：《如何低成本的打造HTC Vive虚拟演播室直播MR视频？》务必点进来看看我们辛苦熬了很久做出来的成果。
附上番外篇：《终于鼓捣成功了全景视频直播，但有些问题……》，几个月前关于全景视频直播的技术分享，当然最近又有新的进展了。
会在时机成熟后分享部分非核心技术内容（核心都分享给你了怎么赚钱，养活研究团队呢？），我们很明显可以看到直播巨头也在全景直播的技术上开始花功夫了，比如斗鱼已经在内测全景视频直播，花椒也在努力走全民全景直播的路子，我们拭目以待巨头能早日支持新技术，给我们带来新的可能……
好吧，接下来进入干货时间，在此之前还要给大家解释下到底什么才是真正的MR实时视频，那些说美国大片的绿幕抠像、CG合成、AE后期处理什么的不在本文讨论范围，虽然从目前的成熟技术水平来看实现起来也不是太难的事情，但再看看MR成果视频里的透视关系，看看实体手柄和虚拟世界物体的实时互动，如果你真的觉得很容易，只能说你太年轻了……
官方惊艳的宣传片，至今都是MR视频大作
说起来好笑，起初还找了个拍电影的朋友信誓旦旦的就要做"抠像"，too young too naive的我觉得有个绿幕+摄像机+HTC Vive就可以轻松解决，万万没想到，居然搞了这么久才折腾出来拿得出手的成果……
能看懂这张图的才能掌握MR的精髓
Mixed Reality视频就是VR影像+人的影像合成的视频。相比普通录制电脑屏幕游戏画面和游戏者录像实拍分屏显示的假VR视频，Mixed Reality视频更适合用来做游戏直播和制作虚拟现实应用宣传视频，比如著名的Google Tilt Bursh绘画程序（请点击查看如下视频，其实我正在努力的方向就是实现以后所有虚拟现实应用让他人看来能够有身临其境的感觉）。
不得不说下面这两种经常在直播平台所谓的VR直播里出现的抠像画面不得不让人质疑，随便搞个绿屏这样做的VR直播有什么意义呢？真的可以给消费者们普及“万能的虚拟现实”吗？只会更雾里看花……
体验者根本没有同步映射出现在游戏画面里，而只看游戏画面旁观者根本不明白到底游戏者在干嘛，对不对？
再来看看Google给Tilt Bursh应用做的MR宣传视频：
这才是真正的MR视频，很酷是不是？
我和我的团队小伙伴们已经实现了，注意看手柄的映射、真实物理空间的人物比例、虚拟应用里场景的透视和画面遮挡关系。
下面是我们团队的成果（请忽略因场地和资金造成的穿帮）：
1、实现方案（详情操作过程请查阅上篇文档）：
硬件部分：至少5*5的绿幕和均匀布光，佳能单反或者罗技摄像头，第三只HTC手柄，USB延长线和支架。
软件部分：首先需要开源软件OBS做图层合成和直播功能，配合若干Unity引擎开发的适配固定视角的虚拟现实内容即可成功的开启四分屏模式（需要调整了很久的cfg配置参数文件在内容根目录下的帮助）。
2、还需要完善的一些地方：
办公室地方限制，导致绿幕空间达不到理想标准，而灯光也因为确实穷所以买不起贵的而打的并不均匀，由此造成了成果视频里抠图的不干净和穿帮，在此只想呼吁土豪赞助足够绿和足够大的场地让我们发挥才华。
我们正在探索移动机位的可能性，一方面是由于场地小，除此之外移动相机和绑在上面的第三只映射手柄不得不再采购一套巨贵的斯坦尼康，所以移动镜头的解决方案不得不暂时搁浅了。当然目前能够支持多机位和移动的虚拟摄像机的内容也没有几款，欢迎推荐。
此种方法目前还只适用于Unity引擎开发的游戏，大家都在等UE4引擎给出和SteamVR底层的接口，而经过尝试可以在某些游戏上搞出来四分屏，换句话说，能成功弄出来四分屏也就离成功确实不远了，可惜的是，缺乏足够技术能力的我们在底层接口这方面不得不继续埋头苦干，希望能找到业内乐意合作的前辈们一起做一款集成傻瓜式的软件，最大程度地解放MR技术在配置参数上的种种麻烦。除此之外，眼前的当务之急是寻找一款比OBS更好用的专业软件，在实时抠像和图层叠加，分辨率损失上都可以做得更好。好吧，其实还缺一款支持4K分辨率的分屏显示器……
目前很多游戏应用内置的虚拟摄像机并不支持移动，换句话说，我们真的很希望以后虚拟现实游戏应用开发者可以直接在开发的时候就规划好虚拟摄像机，甚至可以考虑直接内置多机位的虚拟摄像机，方便在做MR视频和直播的时候一键切换最优质的视野和观看角度。
说到底还是穷，所以也就没办法谈情怀，我们一方面希望Unity和UE4官方可以尽早开放MR底层的接口，也可以给广大的虚拟现实内容开发者给一些相关MR虚拟摄像机开发的DEMO工程文件学习，和很多行业内第一批的吃螃蟹的从业者们一起把虚拟现实更早更全面完整的普及到寻常百姓家。
至于为何花这么大的精力去研究MR虚拟现实混合视频的制作技术，懂的人应该不言自明，尤其是那些已经开了线下体验馆的老板们肯定更能明白其中的商业价值，除了可以节省每个新玩家的教学时间外，也可以给路过的旁观者一个很好的实时演示画面，让他们看到后就明白这群戴着眼镜、拿着手柄走来走去的人到底在干吗？
除此之外帮各种丰富的行业商业应用带来更多新的可能，比如老师在虚拟内容环境里的真人教学，多人身临其境的互动展示，科普内容等行业应用的展现方式会更友好。
当然目前最能短平快赚钱的无非还是直播领域和Steam、Viveport等分发平台上的游戏介绍视频制作业务，毕竟作为从业者我们有责任要给那些玩腻了山寨眼镜盒子后吐槽虚拟现实无用的他们一个看得见的理由，通过大量优质的玩家自制MR视频试图去说服那些悲观者去购买一款真正的虚拟现实设备，去体验真正的虚拟现实，而不是几百块的山寨盒子。
最后想说，作为国内最早从业虚拟现实的行业从业者，我们应该抱团成长，把这个市场做的足够大，把虚拟现实给圈内人带来的惊喜让更多行外的朋友们实实在在的了解。
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
