神经网络

神经网络是一个由生物神经元组成的网络或电路，或者从现代意义上讲，是一个由人工神经元或节点组成的人工神经网络。因此，一个神经网络要么是由生物神经元组成的生物神经网络，要么是用于解决人工智能（AI）问题的人工神经网络。生物神经元的连接在人工神经网络中被建模为节点之间的权重。正的权重反映了兴奋性连接，而负值意味着抑制性连接。所有的输入都被一个权重修改并加总。这种活动被称为线性组合。最后，一个激活函数控制输出的振幅。例如，可接受的输出范围通常在0和1之间，也可以是-1和1。这些人工网络可用于预测建模、自适应控制和可通过数据集进行训练的应用。经验导致的自我学习可以在网络中发生，它可以从复杂的、看似不相关的信息集中得出结论。

一个生物神经网络是由一组化学上相连或功能上相关的神经元组成。一个神经元可能与许多其他神经元相连，网络中的神经元和连接的总数可能很广泛。连接，称为突触，通常是从轴突到树突形成的，尽管树突和其他连接是可能的。除了电信号外，还有其他形式的信号，这些信号来自于神经递质的扩散。人工智能、认知建模和神经网络是受生物神经系统如何处理数据启发的信息处理范式。人工智能和认知建模试图模拟生物神经网络的一些特性。在人工智能领域，人工神经网络已被成功应用于语音识别、图像分析和自适应控制，以构建软件代理（在计算机和视频游戏中）或自主机器人。从历史上看，数字计算机是从冯-诺依曼模型演化而来的，通过一些处理器对内存的访问来执行明确的指令而运作。另一方面，神经网络的起源是基于对生物系统中信息处理的建模努力。与冯-诺依曼模型不同，神经网络计算并没有将记忆和处理分开。神经网络理论有助于更好地确定大脑中的神经元如何运作，并为创造人工智能的努力提供基础。

当代神经网络的初步理论基础是由亚历山大-贝恩（1873）和威廉-詹姆斯（1890）独立提出。在他们的工作中，思想和身体活动都是由大脑中的神经元之间的相互作用产生的。对贝恩来说，每一项活动都会导致某一组神经元的发射。当活动被重复时，这些神经元之间的联系就会加强。根据他的理论，这种重复是导致记忆形成的原因。当时的一般科学界对贝恩的理论持怀疑态度，因为它要求大脑中的神经连接数量似乎过多。现在很明显，大脑是极其复杂的，同一个大脑"线路"可以处理多种问题和输入。詹姆斯的理论与贝恩的理论相似，然而，他认为记忆和行动是由大脑中的神经元之间流动的电流造成的。他的模型通过关注电流的流动，不需要为每个记忆或行动建立单独的神经连接。C.S.Sherrington（1898年）进行了实验来检验詹姆斯的理论。他在大鼠的脊髓上运行电流。

然而，谢林顿并没有像詹姆斯预测的那样显示出电流的增加，而是发现随着测试时间的延长，电流强度下降。重要的是，这项工作导致了习惯化概念的发现。McCulloch和Pitts（1943）在数学和算法的基础上创建了一个神经网络的计算模型。他们称这个模型为阈值逻辑。该模型为神经网络的研究铺平了道路，使其分为两种不同的方法。一种方法专注于大脑中的生物过程，另一种方法专注于将神经网络应用于人工智能。20世纪40年代末，心理学家唐纳德-赫伯在神经可塑性机制的基础上创造了一种学习的假说，现在被称为赫伯恩学习。Hebbian学习被认为是一种"典型的"无监督的学习规则，其后来的变体是早期的长期电位模型。这些思想在1948年随着图灵的B型机开始被应用于计算模型中