AR交互大突破，MIT让你真的“碰到”视频里的物体

严格来说，视频并不是一个交互媒介，因为观众只是接收讯息，并不能跟视频里的画面实时互动。

但是麻省理工学院（MIT）正在改变这一现实：该校计算机科学与人工智能实验室（CSAIL）研发了一项新技术，让观众可以伸出手“触碰”并操控影像里的物体，就像在真实世界里一样。

比如下图里一个小人，本来是静止的画面，但是如果你在上面点击并拖动鼠标，小人真的会因为你的动作而出现抖动或倾斜。

这个系统被称为“交互动态视频”（Interactive Dynamic Video），简称IDV。

技术原理：5秒视频+振动模式+算法

IDV系统的技术原理是这样的：每一个真实世界的物体都会受到来自外界的作用力，由此引发物体的振动。研究团队用摄像机拍摄该物体最短5秒的视频，然后用一个算法生成一个预测模型，预测出该物体在其他外力的作用下产生的振动模式。

所以上图中的室内的小人，在拍摄过程中，研究人员会在它站立的桌面上使劲拍打，使其产生振动。而这种振动，我们人类的肉眼几乎不可见。

IDV系统可以捕捉到非常细小的物体振动频率。甚至一阵微风引起的振动也可以捕捉到，所以对于巨大的建筑物，这种模拟也可以实现。

而且令人兴奋的一点是，这套系统里根本不需要3D轮廓重建的步骤。一般来说，模拟物体的运动，是需要3D建模的，但是这一过程非常昂贵，而且对于十分复杂的物体来说，其3D模型的构造过程极其复杂。而IDV只需要5秒钟的传统视频和一套算法，就可以实现运动模型的预测。

领导这个项目的是在CSAIL 实验室攻读博士学位的Abe Davis，他说：“这个技术可以让我们捕捉到物体的物理动态，让我们在虚拟空间中与拍摄的物体玩耍。” 今年年初，他和同样是博士生的Justin G. Chen以及Fredo Durand教授共同发表了关于该项技术的论文。

应用：令人激动的AR领域

IDV的应用非常广泛，比如工程师可以利用IDV来模拟在遭遇大风或地震等灾害时的一座建筑物的状况，而对于CG电影动画制作者来说，制造一个虚拟的白宫或大桥倒塌的壮观景象，也无疑更加容易了。

但其中最令人激动的就是和AR的结合。以如今大火的Pokemon Go为例，在现在的游戏界面里，小精灵只是单纯“出现”在画面里，就像一个贴纸一样，如果你拨动这个小拉达后面的物体，它并不会受到任何影响。

而IDV可以让虚拟的动画角色跟真实的环境交互。一个虚拟的皮卡丘从草丛里一下子蹦出来，并带动了草丛里的草，这效果就太逼真了，形成了所谓的“动态AR”。

IDV系统的出现无疑会推动人们对VR和AR技术的兴趣和投入。它显而易见的好处是可以大幅降低交互式AR体验的开发成本，这点能够鼓励更多人参与到AR内容的创作。人们都想证明AR的价值，而IDV正好预示着AR视频巨大吸引力的未来。

Via MIT News

雷峰网原创文章，未经授权禁止转载。详情见转载须知。