人工神经网络的历史

本文概述

• 人工神经网络(ANN)
• 感知器

可以说, 神经网络的历史始于1800年代后期, 其科学努力致力于研究人脑的活动。 1890年, 威廉·詹姆斯(William James)发表了有关脑活动模式的第一篇著作。 1943年, McCulloch和Pitts创建了一个神经元模型, 该模型至今仍在人工神经网络中使用。该模型分为两部分

• 总和超加权输入。
• 总和的输出函数。

人工神经网络(ANN)

1949年, 唐纳德·赫布(Donald Hebb)出版了《行为的组织》, 阐明了突触神经元学习的规律。该法则, 后来为了纪念Donald Hebb而被称为Hebbian Learning, 是人工神经网络最直接, 最简单的学习规则之一。

1951年, 纳尔文·明斯基(Narvin Minsky)在普林斯顿工作时建立了第一个人工神经网络(ANN)。

冯·诺依曼(Jhon von Neumann)逝世一年后, 1958年出版了《计算机与大脑》。在那本书中, 冯·诺依曼(von Neumann)提出了对分析师如何建模大脑的许多极端改变。

感知器

Perceptron由Frank Rosenblatt于1958年在康奈尔大学创立。感知器是使用神经网络程序进行字符识别的一种尝试。 Perceptron是一个线性系统, 对于解决输入类在输入空间中可线性分离的问题非常有价值。 1960年, 罗森布拉特(Rosenblatt)出版了《神经动力学原理》一书, 其中包含了他对大脑建模的研究和想法。

尽管在感知器和人工神经网络研究方面取得了较早的成就, 但仍有许多人感到这些方法的保证受到限制。其中包括Marvin Minsky和Seymour Papert, 他们的1969年书本感知器被用来侮辱ANN研究, 并将注意力集中在ANN工作的明显限制上。 Minsky和Papert强调的局限性之一是, Perceptron不能通过线性分类问题来区分在输入空间中无法线性分离的模式。无论Perceptron对处理非线性可分离数据的失望程度如何, 这都不是该技术固有的失败, 而是规模问题。赫克特·尼尔森(Hecht-Nielsen)在1990年展示了一种两层感知器(Mark), 它是一种三层机器, 配备了用于解决非线性分离问题的设备。 Perceptrons介绍了所谓的”安静年”, 其中​​对ANN研究的兴趣最少。

反向传播算法最初是由Werbos于1974年发现的, 并于1986年由Rumelhart, Hinton和Williams所著的《通过错误传播学习内部表示》重新发现。反向传播是一种梯度下降算法, 与人工神经网络一起用于归约和曲线拟合。

1987年, 针对ANN科学家的IEEE年度国际ANN会议开始了。 1987年, 国际神经网络协会(INNS)与1988年的INNS神经网络杂志一起成立。