本周 Paper 推荐丨MetaHIN 模型、GPT-GNN、大规模强化学习算法等

本文作者： AI科技评论

2020-08-21 17:12

导语：欢迎感兴趣的同学加入论文推荐团队。

本周 Paper 推荐丨MetaHIN 模型、GPT-GNN、大规模强化学习算法等 .

缓解异质信息网络中冷启动问题 so easy？来看看 MetaHIN 模型

基于立体视觉深度估计的深度学习技术研究

论文名称：A Survey on Deep Learning Techniques for Stereo-based Depth Estimation

作者：Laga Hamid /Jospin Laurent Valentin /Boussaid Farid /Bennamoun Mohammed

发表时间：2020/6/1

论文链接：https://arxiv.org/abs/2006.02535?context=cs.GR

推荐原因

这是第一篇关于基于深度学习的立体匹配任务的综述文章，以往关于立体匹配的综述文章多基于传统方法，或者年代已久。这篇综述文章主要总结了过去6年发表在主要会议和期刊上的150多篇深度立体匹配论文，可以称得上方法最新，分类最全，概括最广。

在论文中，作者首先介绍了深度立体匹配网络的常用架构，然后讨论了基于每种架构的所有方法之间的异同。其分析的角度包括训练的数据集、网络结构的设计、它们在重建性能、训练策略和泛化能力上的效果。对于一些关键的方法，作者还使用了公开数据集和私有数据进行总结和比较，采用私有数据的目的是测试各类方法在全新场景下的泛化性能。

这篇论文能够为研究深度立体匹配的研究人员提供详细的参考资料，同时，作者在最后一节提到的7种未来发展方向对于研究深度立体匹配具有很好的思考价值，值得细细品读。

P2Net：无监督的室内深度估计的块匹配和平面正则化

论文名称：P2Net: Patch-match and Plane-regularization for Unsupervised Indoor Depth Estimation

作者：Yu Zehao /Jin Lei /Gao Shenghua

发表时间：2020/7/15

论文链接：https://arxiv.org/abs/2007.07696

开源地址：https://github.com/svip-lab/Indoor-SfMLearner

推荐原因

这篇论文提出了一个新的无监督室内场景下的深度估计网络P2Net，其创新点在于提出了两种新式无监督损失函数，论文发表在ECCV2020上。

传统的无监督损失函数是以像素点为单位的图像重构损失，以及边缘敏感的梯度平滑损失。作者发现只在每个像素点处计算图像重构损失得到的特征表示并不够鲁棒，由此提出采用基于图像块表示的重构损失。具体地，采用已有的特征描述子算法DSO提取特征关键点，以关键点为中心构建局部窗口，计算整个窗口内的重构损失更具有鲁棒性。另外，考虑到无监督训练时的崩塌来源于室内场景下的无纹理区域，作者认为无纹理区域可以看做是一个平面，通过对图像提取超像素点从而构造平面区域，在同一平面上的像素点的深度信息应当具有一致性，由此提出平面一致性损失。

作者提出的P2Net在NYU Depth V2和ScanNet两个公开数据集上取得了SOTA的效果。

本周 Paper 推荐丨MetaHIN 模型、GPT-GNN、大规模强化学习算法等

缓解异质信息网络中冷启动问题 so easy？来看看 MetaHIN 模型

论文名称：Meta-learning on Heterogeneous Information Networks for Cold-start Recommendation

作者：Yuanfu Lu/Yuan Fang/Chuan Shi

发表时间：2020/7/6

论文链接：https://aminer.cn/pub/5f03f3b611dc830562232019?conf=kdd2020

开源代码：https://github.com/rootlu/MetaHIN

推荐原因

推荐系统旨在预测用户对物品的偏好，从而向用户提供其感兴趣的商品，为用户解决信息过载问题。为了缓解推荐系统中异质信息网络的“冷启动”问题，作者提出MetaHIN模型。

MetaHIN在模型层面探索了元学习的能力，同时在数据层面研究了异质信息网络的表达能力。在MetaHIN中，作者提出使用多方面的语义上下文来增强每个用户的任务，因此设计了一种新颖的语义增强型任务构建器，用于在元学习场景中捕获异质信息网络中的语义信息。进一步地，我们构建了一个协同适应元学习器。

该学习器既具有语义层面的适应性，又具有任务层面的适应性。

该论文已经被KDD 2020收录。

IMPALA：大规模强化学习算法

论文名称：Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures

作者：Lasse Espeholt / Hubert Soyer / Remi Munos / Karen Simonyan / Volodymir Mnih / Tom Ward / Yotam Doron / Vlad Firoiu / Tim Harley / Iain Dunning / Shane Legg / Koray Kavukcuoglu

发表时间：2018/6/28

论文链接：https://arxiv.org/abs/1802.01561

推荐原因

这是并行RL算法领域引用最为高的一篇文章。文章和以往做的工作不同，不仅仅有工程上实验效果的大幅提升，还做了理论的分析解决了on-policy与off-policy的训练差异问题，整体工作是相当solid的。

作者同时启动了多个Actor和一个Learner，每个Actor都是包含整个policy参数的，负责和环境交互产生数据，Learner是负责训练参数还有同步参数给Actor的。这就有个问题了，参数同步会有无法避免的延迟，那这个就违背了On-policy算法的更新原则，作者提出了一种很好的方式解决这个问题，对有延迟的数据进行修正使得on-policy的训练方式可以继续进行。