从大脑到计算的路有多长？
2018/3/16 中国科学院自动化研究所

    

     余山博士举了几个例子。首先是突触传播和Dropout。在神经生物学中发现，突触响应不是确定性的，存在很大的失误率，有信号传递过来，突触不一定能传递，甚至不一定能转化为化学信号，突触在20%~30%的情况下才传递成功，一般将其理解为生物噪音，但这样实在太没效率了。另一方面，在有些地方突触却可以实现100%成功传递，说明这不是不可能做到。

    

     神经科学家很早就观察到了这一现象，但对其功能意义并不完全理解。2012年，Hinton提出Dropout算法，以及后续提出的Drop connect算法，随机让网络中的一些节点(突触)不工作，使得网络有效避免了过拟合，从而实现了更好的泛化性能。实际上这正好对应了突触传递的随机性。这就是机器学习专家从数学的角度理解，让生物学家得到启发的一个例证。

     第二个例子是临界态和类脑之间的关系。神经科学家发现，当生物处于临界态时有利于信息的传递，处于超临界(大多数神经元都处于饱和)、亚临界(激活不够)时都不利于信息处理。用脑片做实验也发现，临界状态使得网络的动态范围实现最优化。

    

     这个现象，机器学习专家从ML的角度来理解，能得到哪些启示呢？在一个深度网络中，浅层神经元的动态范围容易保持在较大的水平，但随着层数越来越深，很快网络的动态范围就变得非常小，要么大多数神经元都不活跃，那么大多数神经元都趋于饱和。这个带来的一个重要问题，就是BP算法中梯度的回传就受到影响，也即“梯度消散”。

     在生物中，大脑通过临界态来解决这个问题。而在机器学习领域，人们采取的做法是在每两个层之间另加一层(Batch Norm层或是Layer Norm 层)，从而让后面层级保持一个较好的动态范围，相当于让每层都保持在临界态，这些方法在深度学习中都有广泛的应用。

     余山博士总结说，由此可见，大脑和机器学习很多时候面临的问题是很相似的，即便我们现在对大脑的了解还不完整，但是我们仍然可以去尝试，去发现大脑通用的功能优势，然后去理解这样做在信息处理上的意义是什么，如果我们能够理解这些问题，借鉴大脑的一些解决方法，就能帮助我们设计更好的机器学习算法。

     小彩蛋：大脑和量子效应

     Q:从大脑图谱的研究里，有没有发现人的大脑存在量子效应，还是说人的大脑就遵循经典的物理和化学？

     A：从目前的大脑图谱研究看，我没有看到人脑跟量子有关系。这个话题有很多人在说，我认为目前神经科学没有很强的证据表明，量子力学在大脑的神经信息处理当中发挥了任何重要的作用。这样说有几方面的证据，一个是在大脑这样一个37摄氏度的环境当中，很难保持要保持量子纠缠态，现在所有的量子计算都取决于量子纠缠，以及能够保持足够长时间，这样看大脑是不满足相关条件的。

    

    

     余山

     中科院自动化所研究员，博导， 百人计划入选者

     研究领域：1)感觉与认知功能的脑网络机制；2)重要精神疾病的脑网络机理； 3)面向脑机接口(Brain Machine Interface) 的神经网络编码。

     脑网络中心

     主要研究方向是利用各种成像技术及电生理技术在宏观、介观及微观尺度上建立人脑和动物脑的脑区、神经元群或神经元之间的连接图(脑网络)，在此基础上研究脑网络拓扑结构、脑网络的动力学属性、脑功能及功能异常的脑网络表征、脑网络的遗传基础，并对脑网络进行建模和仿真，以及实现这些目标所要的超级计算平台。

     中心成功绘制出全新的人类脑图谱：脑网络组图谱。该图谱包括246个精细脑区亚区，以及脑区亚区间的多模态连接模式，突破了100多年来传统脑图谱绘制思想，引入了脑结构和功能连接信息对脑区进行精细划分和脑图谱绘制的全新思想和方法，比传统的Brodmann图谱精细4-5倍，具有客观精准的边界定位，第一次建立了宏观尺度上的活体全脑连接图谱。

    

     更多精彩内容，欢迎关注

     中科院自动化所官方网站：

     http://www.ia.ac.cn

     欢迎后台留言、推荐您感兴趣的话题、内容或资讯，小编恭候您的意见和建议!如需转载或投稿，请后台私信。

     来源：新智元

     编辑：鲁宁、欧梨成

     中科院自动化研究所

     微信：casia1956

     欢迎搭乘自动化所AI旗舰号!

    http://weixin.100md.com
返回 中国科学院自动化研究所 返回首页 返回百拇医药