0
雷锋网 AI 科技评论按：今天，谷歌的 Dropout 专利生效这一消息突然在圈内传开，而生效日期就在 6 月 25 日，有效期 15 年。三年前，谷歌就给 Dropout 申请了专利，但因为此举引发了业界众多异议，最最后无疾而终。只是令人没想到时隔三年，这一专利申请竟然生效了。雷锋网 AI 科技评论将这一事件整理报道如下。
但凡是接触过机器学习的人士，一定知道 Dropout。它是在进行深度学习、训练神经网络时，普遍会用到的方法，也是调参的一种手段，可以有效防止过拟合。由 Hinton 在 2012 年的论文《Improving neural networks by preventing co-adaptation of feature detectors》中提出。
而在随后 Alex 和 Hinton 的论文《ImageNet Classification with Deep Convolutional Neural Networks》中，则用 Dropout 算法来防止过拟合。论文中的 AlexNet 网络模型瞬间引爆神经网络应用热潮，并赢得了 2012 年图像识别大赛冠军，使得 CNN 成为图像分类上的核心算法模型。
而 Dropout 在这里面，就起到了训练深度神经网络的一种 trick 供选择这一重要作用。简单来讲：在前向传播过程中，Dropout 让某个神经元的激活值以一定的概率 p 停止工作，通过取各种网络的平均来提升模型的稳定性，从而有效的缓解过拟合现象，并在一定程度上达到正则化的效果。
而且对于机器学习来说，一旦模型过拟合，那么该模型几乎不能用。因此，这一方法在很早的时候，就被广泛的运用在机器学习领域中。
在谷歌申请专利的介绍中，他们把 Dropout 称为——《解决神经网络过拟合的系统与方法》。我们可以在 Google Patents （https://patents.google.com/patent/US9406017B2/en）上看到这项技术的专利详情页面。
通过摘要，我们大致可以了解到关于 Dropout 的这几点：
Dropout 是一个用来训练神经网络的系统；
其中网络某些层上的特征检测器都连着一个开关；
在每个训练场景下，这些开关会随机关闭部分特征检测器；
而这些训练场景下的权重会被归一化，最终将神经网络应用在测试集上。
从图中右上角，我们可以看到该技术发明者包括：Geoffrey E. Hinton、Alexander Krizhevsky、Ilya Sutskever、Nitish Srivastva；而目前的专利权受让人（Current Assignee）是谷歌。
综上所述，当 Dropout 这一普遍且通用的方法成为了专利，虽然它非常简单，但此举就好比加法成为了个人专利，这势必会为整个行业带来大的扰动。
这一方法在将来的使用中，是否存在法律风险？谷歌会对该专利作出怎样的限制？这些限制将给学术研究与合作带来怎样的结果？对于国内外的相关企业又有什么影响？......这些问题不免引起大家的关注与思考。
消息发出后，reddit 上就针对这件事进行了热烈的讨论：
其中讨论得最多的问题就是——以后我们是否还能够自由使用 Dropout？
针对这一问题，有人认为谷歌不会强制执行专利许可，就像他们之前的「使用深度神经网络处理图像」专利一样，也没有强制执行；
也有人持有相反的态度，并且将关注点落在了企业层面，认为这一专利申请，势必会影响一大部分年轻的机器学习公司。因为谷歌可以对其专利代码被使用，随时提出诉讼，而对公司造成消极影响；
还有持辩证态度的群众，他总结到这个事情的影响视个人情况而定。如果你是机器学习相关的公司负责人，这件事的就会对公司利益造成损害；如果你与谷歌有利益纠纷，走法律程序前三思，因为你很可能会被谷歌公司以专利侵权返告；但如果你是谷歌的专利律师，那恭喜，估计世界上也没有能难到你的案件了！
知乎上，一位知友也发表了自己的看法——
还有网友表示我们不应该指责谷歌，应该指责专利制度；正如有句话所说「不要怪玩家，要怪就怪制定游戏规则的人。」不过，在事情还没有任何定论之前，我们也只能持观望态度，毕竟专利设置之初，其本意是用来鼓励和保护发明创造的，从过去的一些专利申请来看，它确实也起到了相应的作用，也维护了很多发明者自身的利益。
当然，我们也希望如大部分乐观网友所说，谷歌的行为只是单纯为了维护自身利益；而 Dropout 专利申请生效事件，也不会为学术圈乃至整个行业带来任何消极影响。
参考文献：
《深度学习中 Dropout 原理解析》.Microstrong0305（小强）
https://blog.csdn.net/program_developer/article/details/80737724?utm_source=copy
雷锋网 AI 科技评论
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
