0
| 本文作者： 奕欣 | 2017-01-10 09:38 |
在近几年，人工神经网络——一种参照大脑运作模式而建成的计算模型——已经成为了最为炙手可热的人工智能系统，并且应用于从语音到图像的各个领域。
雷锋网消息，MIT CSAIL 于今日发布了一个重磅研究成果：他们已经开发出一个大脑神经回路的计算模型，它揭示了抑制神经元的生物意义。
这个模型是由一组输入神经元阵列与同等数量的输出神经元组成，采用「竞争学习规则」（winner-take-all）来操作。
也就是说，网络的输出神经元之间相互竞争以求被激活，但在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称为 Winner Take All，这就像美国大选一样，在该州获得更多选票的候选者就会得到该区所有的选票。
MIT 研究者们证明，通过使用理论计算机科学的相关工具，他们的模型能够让一定配置的抑制性神经元遵循「竞争学习规则」，并获得最有效的结果。这其中原因何在？真相就在于该模型能够对抑制性神经元在大脑中的行为进行预测，而这也成为了计算分析辅佐神经科学研究的绝佳例子。
这一新发现在本周的理论计算机科学变革会议上公布。论文作者为 MIT 软件科学及工程的 NEC 教授 Nancy Lynch，博士后 Merav Parter 及电子工程与计算机科学的研究生 Cameron Musco。Lynch 表示，「这一发现能够为计算机网络或以手机为代表的电子设备与生物系统中的神经网络之间建立起紧密联系，我们正在尝试从分布式计算的角度寻找可能使之受益的方向，并将重点放在算法上。」
为了补充一些背景知识，雷锋网先为大家简单介绍一下人工神经网络与人体神经网络的联系与区别：
我们都知道，大脑的神经细胞存在两种状态：兴奋和抑制。神经细胞通过某种方式将所有树突上的信号进行相加，如果信号总和超过了某个阈值，那么这个神经细胞就会被刺激，达到兴奋状态。人工神经网络也就是模仿上述原理而设计的一种算法模型。
人工神经网络与人体的神经元类似，由多个节点（神经元）之间联结而成，每个节点代表一种特定的输出函数，并根据各个节点的不同权重生成不同的计算输出。
由于权重能够表示激发或抑制作用（在这里，雷锋网为大家简单表示为正负关系），这些或正或负的数据将作为激励函数的输入进行作用。而这个激励函数经过所有不同节点的权重综合计算后得到一个新的激励值，并最终得到我们想要的结果。
而在人工智能应用中，实际情况当然会更加复杂一些。一个神经网络可以接受不同数据的训练，不断通过调整权重而得到更契合实际的结果。
Lynch 团队对该模型进行了多处修改，使得人工神经网络在生物层面更加真实。首先是增加抑制性神经元的数量。通常在人工神经网络中，连接上的权重值就和雷锋网方才提及的一样，通常是正的，或者是可正可负的。但在人体大脑中，有一些神经网络能够发挥纯粹的抑制作用，并阻止其它神经元活动，因此 MIT 的研究人员参考这一点，将这些神经元建模为只连接负权重的节点。
而就像我们所了解到的一样，很多人工智能采用的是前馈网络，即信号只从一个方向通过网络，从接收输入数据的第一层到提供计算结果的最后一层。但大脑间的反馈会更加复杂一些。Lynch、Parter 及 Musco 的神经网络就增加了一层反馈机制，输出神经元的信号传递到抑制性神经元，它的输出会再次传递到输出层。此外，输出神经元的信号也会反馈给自身，这对竞争学习规则而言显得非常重要且有效。
MIT 的研究人员改进的人工神经网络还有一点最大的不同在于，神经网络变得更具概率性。因为在此前传统的人工神经网络中，如果节点的输入值超过某个阈值，则节点会被激发。但在大脑中，即使增加了输入神经元的信号强度，也只会增加输出神经元激活信号的机会。这同样对于竞争学习规则也具有不小的意义。
Parter 与她的同事们成功证明，如果只有一个抑制性神经元，是不可能变成竞争学习的最终「赢家」的（但两个就 OK 了！）。其中的秘诀在于，如果多于一个输出神经元激活抑制性神经元（研究人员称之为收敛神经元）能够激活强抑制信号。而另一个抑制性神经元（被称为稳定神经元）的功能在于，只要任何输出神经元正在激活信号，那么它都只会发出更弱的信号。
收敛神经元能够驱动神经网络选择单个输出神经元，并在该节点上停止激活信号；而稳定神经元则会在收敛神经元已经停止活动时防止输出神经元的第二次作用。而如果输出神经元被抑制的时间越久，它越有可能继续保持这一状态。而一旦选择了单个输出神经元，它的反馈回路能够确保自己能够克服稳定神经元的抑制作用。
但是，如果缺少了随机性，网络并不会收敛到单个输出神经元，抑制性神经元权重的任何设置将同等地影响所有的输出神经元。「你需要随机性来打破这种对称性，」Parter 解释道。
研究人员能够确定所需要的辅助神经元的最小数量，以保证特定收敛的速度，以及在一定数量的辅助神经元的情况下的最大收敛速度。
越多的收敛神经元并不代表着收敛速度一定会加快，比如说现在有 100 个输入神经元，两到三个收敛神经元已经足够，而增加第四个并不会增加你的速度。与此同时，一个稳定神经元已经足够。
但更有意思的地方在于，研究人员发现兴奋性神经元（刺激）与抑制神经元一样，并不能增强神经网络的处理效率。
Salk 生物研究所的助理教授 Saket Navlakha 表示，这个模型能够应用于很多的感觉系统中，包括生成稀疏码的嗅觉系统。「我们已经发现了许多类型的抑制性神经元，下一步我们打算看看是否能像论文所说的一样，将抑制性神经元分为上述两类。」
卡耐基梅隆大学计算机科学 Ziv Bar-Joseph 表示，「神经科学在计算模型上需要考虑更多的细节，除了抑制性神经元如何发生作用外，什么样的蛋白质能够驱动它们呢？」目前，Nancy 正在对神经网络进行全面性的观察，并研究抑制神经元的数量。而这种基于宏观层面范围内的建模，相信能够为人类带来普适性更强的预测。
via MIT，雷锋网编译
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
