0
Magic Leap，这家仅凭炫酷的宣传视频就获得14亿美元融资的MR创业公司，依然还没有公布一款可以体验的头盔产品。
The Information、The Verge 等多家国外媒体报道指出，Magic Leap 的宣传视频存在误导大众的嫌疑，该公司的技术实际上远远没有形容的那么“先进”。他们虽然展示了可以日常佩戴的MR眼镜，但事实上却在将AR 技术融合到小型化设备上遭遇瓶颈。
我们都知道，增强现实的关键在于对环境的感知，所有的AR公司都得先解决这一基本问题。近来雷锋网发现从他们发表的多篇论文来看，“飘在云端”的Magic Leap也和大家一样在踏踏实实解决基本问题。
8月7日最新一篇论文名为：“RoomNet: End-to-End Room Layout Estimation（点击下载）”该论文致力于用AI的方法来估算房间的大小和形状，名为RoomNet。论文总结表示该论文对于室内导航，场景重建和增强现实十分重要。
在论文摘要部分我们看到：“论文聚焦于从单眼RGB图像估计房间布局，先前的工作将这个问题分成两个子任务：地板、墙壁、天花板的语义分割以产生布局假设，接着是迭代优化步骤来对这些假设进行排序。相比之下，我们采用更直接的方式来描述这个问题，作为估计房间布局关键点的有序集合之一。给定了这些有序关键点的位置，房间布局和相应的分割就完全清晰了。我们使用RoomNet（端到端可编程编码器 - 解码器网络）预测房间布局关键点的位置。在具有挑战性的基准数据集Hedau和LSUN上，与最近的工作相比，我们实现了最先进的性能以及200倍至600倍的加速。此外，我们提供了RoomNet架构的可选扩展，包括循环计算和内存单元，以在相同的参数容量下细化关键点位置。“
他们的研究注重从任何相机都能提供的常规图像中寻找房间布局。论文解释了利用相机识别房间布局的关键点，然后再用深度神经网络来识别这些关键点，他们提供了十种不同的办法。
在此前，雷锋网曾报道过他们曾展示了一个在房间里玩MR鬼故事的游戏，在这款游戏中，你会丢弃传统的游戏手柄，首先玩起手中的木块，第一阶段的任务就是学会如何使用这些木块并在 MR 世界中用这些工具完成交互。完成这步后，你的家里就会响起奇怪的声音，它们会越变越大，你要做的就是去找寻声音的源头。对于房间和环境的识别有助于这类MR游戏的实现。
在两周前，他们还发布了一篇名为“迈向几何型深度SLAM（点击下载）”的论文，在这篇论文中我们窥见了一种创新的机器视觉技术，可以带领公司向创造一个强大的AR头盔迈进。
这篇论文描述了一个由两个卷积神经网络（CNNs）驱动的点追踪系统，一个被称为MagicPoint，另一个被称为Magic Wrap。两个系统是快速简洁的，可以很轻松地在单一CPU上以30+FPS的状态运行。
简单来说：根据该文件，MagicPoint对单个图像进行操作，并创建重要的具有跟踪目的的2D点，这些点将被反馈到即时定位和地图构建（SLAM）视觉算法。将他们的网络与经典点检测器进行比较，团队发现“在有图像噪声时存在显着性能差距”。因为探测器性能会被噪点破坏，对传统探测器来说，斑点噪点尤其难以处理。
因为计算移动的物体的形状并不是一件容易的事情——不管是物体移动还是观察者移动 - MagicWarp的工作就是使用一对由MagicPoint生成的2D点的图像来实质地预测运动。MagicWarp SLAM算法以与传统方式不同的方式进行，因为它仅使用点的位置，而不是更复杂的“本地点描述符”，这是专用于描述包含编码、独特标识信息的事物的计算机视觉术语。
使用物理和合成数据进行测试，据说两个卷积神经网络能够实时运行。作者总结说：“我们认为大规模部署以SLAM系统驱动的深度学习Deep-Learning的日子并不遥远。
Magic Leap昨天通过了一项专利申请，“a compact optical see-through head-mounted display capable of combining, a see-through image path with a virtual image path（一种能够结合透视图像路径与虚拟图像路径的紧凑光学透视式头显）”，其主要是关于虚拟对象能实际地遮挡真实对象。
虽然我们并不清楚Magic Leap是否会有一个如其CEO Rony Abovitz所称的“小巧，移动，强大而且很酷”的头盔，我们都尽力从他们那里去看到任何有用的成果。从这两篇论文和一项专利开看，雷锋网发现Magic Leap在环境识别、SLAM上都有了自己的成果，他们若是能实现自己的愿景： “直接将数字内容呈现在你身边，这些内容不断可以与用户进行交互，还能与现实世界互动”，再等三年又何妨。
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
