文章梳理神经网络的发展历程, 介绍了神经网络的概念、特征及原理。对其他人所用到的技术进行归纳、总结、分析其优缺点，并展望神经网络未来的研究方向。

神经网络的发展历程始于20世纪40年代发展至今，经历了兴起、低谷、高潮发展和稳步发展几个不同阶段。

2.1 初期兴起阶段
早在20世纪40年代，心理学家W. S.Mcculloch和数理逻辑学家W. Pitts合作,从人脑信息处理的观点出发，概括了生物神经元的一些基本生理特性,提出了第一个神经网络的运算模型，即神经元的阈值元件模型，简称MP模型，如图1所示^[1]。图中,X_i(i=1,2...,n)表示来自与当前神经元连接的其他神经元传递的输人信号,W_ij(j=1,2..,n)表示从神经元i到神经元j连接的强度或权值，θ_i为神经元的激活固值，∑w_ij表示将w_ij,累加求和，Y_i=f( · )表示MP模型的输出信号。MP模型是从逻辑功能的角度来捕述神经元的。

图 １ 神经元的 Ｍ－Ｐ模型示意

在MP模型中，脑细胞的活动就像开关.细胞可以按各种方式相互结合，进行各种逻辑运算，因此,用于逻辑运行的网络也可以模拟大脑的工作方式，由一些结点相互联系，从而构成一个简单的神经网络模型。虽然形式神经元的功能较弱，但由于网络中包含了较多的神经元以及神经元之间联系较为广泛。同时神经元还具备并行计算的能力，所以网络具有强大的计算能力。这是第一个使用数理语言描述人类大脑信息处理过程的模型，开创了对人工神经网络的理论研究。此模型沿用至今，为以后的研究工作提供了依据。

1949年，心理学家Hebb在The Organization of Behavior一书中对神经元之间连接强度的变化规则进行了分析，并提出了著名的Hebb学习规则^[2]。Hebb学习规则的基本思想是，大脑的学习过程是在突触上发生的，突触的联系强度是学习和记忆的基础，其强化过程导致大脑自组织形成细胞集合，任何个神经元都会同属于多个不同的细胞集合。如果两个神经元处于同一状态，表明两个神经元对问题响应具有一致性,那么它们之间的联系应该被强化;反之，它们之间的联系应该被减弱。Hebb学习规则属于无监督学习算法的范畴，主要是通过两个神经元之间的激发状态来调整其连接关系,从而达到模拟简单神经活动的目的。

1958年,计算机学家Rosenblatt等人基于MP模型，成功研制出了代号为Mark I的感知器模型，该模型运用了现代神经网络的基本原理，是历史上第一个将人工神经网络的学习功能用于模式识别的模型。

2.2 低谷期

人们认为，只要将神经元互连成一个网络，就能够解决人脑思维的模拟问题。随着对感知器研究的不断深人，Minsky和Papert从数学的角度证明了单层神经网络的功能具有局限性。1969 年，他们在联合出版的Percertrons中提出凭借单层网络训练无法得到很多复杂函数关系,单层神经网络的处理能力非常有限,甚至连简单的异或问题也无法解决。这一理论的出现，导致很多研究人员放弃了对该领域的研究。美国和苏联也在此之后很长一段时间停止资助神经网络方面的研究工作。与此同时，在人工智能模拟中，以功能模拟为目标的另一个分支出现了转机,伴随着微电子技术的迅速发展,很多研究人员把注意力转向了人工智能和数字计算机的应用方面，导致对神经网络的研究陷入了低谷。

即便如此，仍然有些科学家坚持在相应领城进行研并取得了比较显著的成果，比如Werbes提出的BP理论、Fukushima提出的视觉图像识别模型、Arbib的竞争模型、Kohonen的自组织映射、Grossberg的自适应共振模型、Rumellhart的并行分布处理模型等。后来证明，要想突破单级感知器线性不可分的问题，就需要采用功能更强大的多级网络。这样，一系列神经网络模型被建立起来，形成了神经网络的理论基础，也为掀起第二次高潮做好了准备。

2.3 第二次高潮期

1982年，美国加州理工学院的Hopfield提出了循环网络的概念，他使用电阻、电容和运算放大器等元件组成的模拟电路来描述人工神经元，并将Lyapunov函数作为判定人工神经网络性能的能量函数总结了神经网络与动力学的关系，建立了神经网络稳定性的判定依据，指出了信息应存储在人工神经元之间的连接权上。这一成果使人工神经网络的研究取得了突破性进展。

1984 年，Hopfield提出连续和离散的神经网络模型，并采用全互连型网络尝试对非多项式复杂度的旅行商问题（TSP）进行求解，引起了较大的袭动，促使神经网络第二次高潮的到来

1985年，Hinton等科学家对Hopfield模型引入随机制，提出Boltzman机。

1986年，以Rumelhart和McCelland为注的科学家小组对多层网络的误差反向传播算法进行了详尽的分析，进一步推动了BP算法的发展，较好地解决了多层网络学习的问题。1989年,Cybenko、Funahashi等人也相继对BP神经网络的非线性函数逼近性能进行了分析。

1987年，在美国加州举行了第一届神经网络国际会议。从1988年开始，国际神经网络学会和IEEE（美国电气和电子工程师协会)每年都会召开一次国际学术会议并于1990年开始出版会刊，这标志着神经网络的理论和实际研究都进入了个蓬勃发展的时期，我国于1989年召开了一个非正式的神经网络会议。1990 年在北京召开了首届神经网络学术大会,标志着我国神经网络研究领城的发展开始走向全世界。

2.4稳定发展期

90年代，国内外许多学者进一步完善和发展了神经网络领域。特别是通过神经网络方法来解决非线性系统的控制问题，并取得了突出的成果。1991年在南京召开了中国神经网络学术大会（第二届），并成立了中国神经网络学会。我国“863”高技术研究计划和“攀登”计划、相关基金、年会、期刊等都把神经网络的研究列入重要课题范围。这些都为我国发展神经网络创造了良好的条件，INNS开始重视我国。1992年，在北京召开由国际神经网络学会、IEEE 神经网络委员主办的国际性学术会议IJCNN。

3.1神经网络的概念

国际著名的神经网络专家、第一个计算机公司的创始人和神经网络实现技术的研究领导人给神经网络的定义是：“神经网络是一个以有向图为拓扑结构的动态系统，它通过对连续或断续式的输入作状态响应而进行信息处理”。神经网络系统是由大量的、同时也是很简单的处理单元或称神经元,通过广泛地互相连接而形成的复杂网络系统。虽然每个神经元的结构和功能十分简单，但由大量神经元构成的网络系统的行为确是丰富多彩和十分复杂的。神经网络系统是一个高度复杂的非线性动力学系统，不但具有一般非线性系统的共性，更主要的是它还具有自己的特点，比如高维性、神经元之间的广泛互连性以及自适应性或自组织性等。

3.2神经网络的原理

在神经网络中，网络解决问题的能力与效率除了与网络结构有关外，在很大程度上取决于网络所采用的激活函数。激活函数的选择对网络的收敛速度有较大的影响，针对不同的实际问题，激活函数的选择也应不同。常用的激活函数有以下几种形式^[3]：

• 阈值函数 其表达式为：

               (1,2)

该函数通常也称为阶跃函数。当激活函数采用阶跃函数时，人工神经元模型即为MP(McCulloch-Pitts)模型。此时神经元的输出取1或0，反应了神经元的兴奋或抑制。

• 线性函数（Linear）其表达式为：

   y＝kx+b            （1，3）

该函数可以在输出结果为任意值时作为输出神经元的激活函数，但是当网络复杂时，线性激活函数大大降低网络的收敛性^[4]，故一般较少采用。

• 对数Ｓ形函数（Sigmoid）其表达式为：

对数Ｓ形函数的输出介于0～1之间，常被要求为输出在0～1范围的信号选用。它是神经元中使用最为广泛的激活函数。

• 双曲正切S形函数,其表达式为：

双曲正切S形函数类似于被平滑的阶跃函数，形状与对数S形函数相同，以原点对称，其输出介于-1～1之间，常常被要求为输出在-1～1范围的信号选用。

3.3神经网络的特征

3.3.1.具有较强的容错和联想能力
在人工神经网络中，一个信息被分布存储在不同位置。大量神经元之间的连接及各连接权值的分布可以用来表示神经网络中的特定信息。当某一个点或者某几个点被损坏时，信息仍然可以被存取。信息的分布存储使得人工神经网络具有良好的容错和联想能力，主要表现在以下两个方面:一方面，当神经网络局部受损或输人信号因各种原因发生部分畸变时，系统的整体性能不会受到影响;另一方面，神经网络可以根据一个模糊或者不完整的信息联想出存储在记忆中的某个清晰、完整的模式，因此神经网络得出的是最优解而非精确解。
3.3.2.具有大规模并行协同处理信息的能力
神经网络具有高度的并行结构和并行实现能力，神经网络中的每一个神经元都能够对接收到的信息进行独立的运算和处理。虽然单个神经元的处理能力比较有限，但是大量神经元的并行活动可以使网络具有较快的速度和较强的功能。神经网络可以同时计算出位于同一层中的各个神经元的输出结果.并将结果传输给下一层做进一步处理。这体现了神经网络并行运算的特点，使神经网络具有非常强的实时性。
3.3.3.具有自学习能力和自适应性
神经网络可以根据所在的环境改变它的行为。神经网络接受用户提交的样本集合，然后不断对算法进行修正，确定系统行为的神经元之间的连接强度。在神经网络中，权值被用来表示神经元之间的连接强度.随着对训练样本的学习，权值也会不断地产生变化。

4.1自动控制领域

神经网络方法已经覆盖了控制理论中的绝大多数问题，主要有系统建模与辨识、极点配置、内模控制、优化设计、预测控制、最优控制、自适应控制、滤波与预测容错控制、模糊控制和学习控制等。

4.2模式识别

模式识别是对表征事物或现象的各种形式的信息进行处理和分析，来对事物或现象进行描述、辨认、分类和解释的过程。该技术以贝叶斯概率论和申农的信息论为理论基础，对信息的处理过程更接近人类大脑的逻辑思维过程。现在有两种基本的模式识别方法，即统计模式识别方法和结构模式识别方法。人工神经网络是模式识别中的常用方法，近年来发展起来的人工神经网络模式的识别方法逐渐取代传统的模式识别方法。经过多年的研究和发展，模式识别已成为当前比较先进的技术，被广泛应用到文字识别、语音识别、指纹识别、遥感图像识别、人脸识别、手写体字符的识别、工业故障检测、精确制导等方面^[5]。

4.3风险评估

风险是指在从事某项特定活动的过程中，因其存在的不确定性而产生的经济或财务的损失、自然破坏或损伤的可能性^[6]。防范风险的最佳办法就是事先对风险做出科学的预测和评估。应用人工神经网络的预测思想是根据具体现实的风险来源，构造出适合实际情况的信用风险模型的结构和算法，得到风险评价系数，然后确定实际问题的解决方案。利用该模型进行实证分析能够弥补主观评估的不足，可以取得满意效果。

4.4医疗

神经网络有自我学习能力并能根据输入得出较合理的输出，因此，尝试从医学影像资料中筛选出有诊断意义的因素作为输入变量，通过训练，建立对影像资料有辨识能力的模型，用于医学影像辅助分析。何苗等人运用RBF人工神经网络建立用于宫颈细胞图像识别的神经网络^［7］。从700个宫颈细胞显微图像中分别提取细胞核的15个形态学特征参数及12个色度学特征参数作为输入以进行正常、低度鳞状上皮内病变(LSIL)、高度鳞状上皮内病变(HSIL)和宫颈癌的分类识别。结果显示，该网络对训练集的拟合度为97.3%，对测试集的分类准确率为95.4%，对正常、LSIL、HSIL细胞和癌细胞的识别率分别为96%、94%、100%和88%。

人工神经网络采用广泛互联的结构与有效的学习机制来模拟人脑智能信息处理的过程，是人工智能发展历程中的重要方法，也是类脑智能研究中的有效工具。在神经网络发展历程中，曾经几遭冷遇又几度繁荣。本文回顾了神经网络的发展历程，介绍了神经网络在概念原理及应用成果。未来基于神经网络的类脑智能的研究还有许多亟待解决的问题与挑战：

（１）认知神经网络

尽管深度神经网络在语音识别和图像视频识别等任务中显示出很大的优势，现有的人工神经网络结构还远远不及生物神经网络结构复杂，仍然是对生物神经系统信息处理的初级模拟，这是制约神经网络智能化水平的一个重要瓶颈。目前深层神经网络仅能完成一些简单的语音与视觉理解任务，在理论上还存在很多局限，训练网络的学习算法目前也十分有限。另一方面，神经认知计算科学对视觉注意力、推理、抉择、学习等认知功能的研究方兴未艾。如何从脑科学和神经认知科学寻找借鉴，从理论上发展出功能更加强大的类脑计算模型如认知神经网络，来解决人工智能面临的局限，将有可望实现更高层次的类脑智能。

（２）主动神经网络

生物个体在与环境接触过程中，智能水平会得到提高。人脑可以在没有监督信息时主动地从周围环境中学习，实现对客观世界中物体的区分。因此，如果要实现更加高级的智能行为，现有神经网络的发展需要突破利用神经元与网络结构的结构模拟思路，从结构模拟向功能模拟乃至行为模拟转换，借鉴人与环境之间的交互过程，主动且自动地完成增强学习，以摆脱 对监督信息的依赖，在更严苛的环境下完成学习任务，这也是实现高级类脑智能的可能途径。

（３）感知－理解－决策神经网络

类脑智能行为可以大概归结为“感知”、“理解”与“决策”这３个方面。目前的神经网络模型的功能大都局限在对数据的理解层面，而事实上一个高级的智能机器应该具有环境感知与推理决策的功能。如何发展具有环境感知、数据理解以及推理决策能力的网络模型，也是实现高级类脑智能的必然要求。

（４）复杂神经网络实现

机器计算能力的提高曾经将神经网络重新拉回大众关注的视野．对于许多互联网公司来说，如何实现对海量大数据的快速高效训练是深层神经网络走向实用化的重要标志．现有的Hadoop平台不适合迭代运算，SGD又不能依并行方式工作，而GPU在训练DNN时仍然显得比较吃力^[8]。同时，平台的能耗问题也成为制约其进一步发展的主要因素。为迎接未来深度学习在产业化过程中的挑战，高性能并行加速计算平台的开发成为当务之急.另一方面，生物神经元之间的连接带有随机和动态性，而不是如人工神经网络那样确定和一成不变，如何用计算机硬件或者算法来模拟这一过程虽极具挑战但意义重大。

（５）深度神经网络

深层神经网络一个最主要的特点在于其具有大量可调的自由参数，这使得其构建起的模型具有较高的灵活性。但另一方面却缺乏有力的理论指导和支撑，大多数情况下仍过分依赖于经验，带有一定程度的随机性．如此复杂的模型很容易在特定数据集上得到近乎理想的拟合效果，然而在推广泛化性能上却往往很难得到保障。为防止过拟合带来的问题，今后应当在数据的规模、网络的结构以及模型的正则化等方面开展工作，使得深度神经网络更好地发挥其功能。

（６）大数据深度学习

深度学习的兴起很大程度上归功于海量可用的数据。当前，实验神经科学与各个工程应用领域给我们带来了呈指数增长的海量复杂数据，通过各种不同的形态被呈现出来（如文本、图像、音频、视频、基因数据、复杂网络等），且具有不同的分布，使得神经网络所面临的数据特性发生了本质变化。这给统计学习意义下的神经网络模型的结构设计、参数选取、训练算法，以及时效性等方面都提出了新的挑战。因此，如何针对大数据设计有效的深度神经网络模型与学习理论，从指数增长的数据中获得指数增长的知识，是深度学习深化研究中必须面临的挑战。

[1]McCulloch W S, Pitts W. A logical calculus of the ideas immanent in nervous activity[J]. The bulletin of mathematical biophysics, 1943, 5(4): 115-133.

[2]Hebb D O. The organization of behavior: A neuropsychological theory[M]. Psychology Press, 2005.

[3]何华灿.人工智能导论[Ｍ].西安:西北工业大学出版社,1988:142-158.

[4]杨淑莹.模式识别与智能计算-Matlab技术实现[Ｍ].电子工业出版社,北京：2008:147-153．

[5]邓万宇,郑庆华,陈琳,许学斌.神经网络极速学习方法研究[J].计算机学报,2010,33(02):279-287.

[6]Oz C, Leu M C. American sign language word recognition with a sensory glove using artificial neural networks[J]. Engineering Applications of Artificial Intelligence, 2011, 24(7): 1204-1213.

[7]Singhal D, Swarup K S. Electricity price forecasting using artificial neural networks[J]. International Journal of Electrical Power & Energy Systems, 2011, 33(3): 550-555.

[8]焦李成,杨淑媛,刘芳,王士刚,冯志玺.神经网络七十年:回顾与展望[J].计算机学报,2016,39(08):1697-1716.