神经网路与深度学习第一次帖


概述
神经网络是一种模拟人脑神经元连接方式的计算模型，它由多个神经元组成，每个神经元接收输入信号，并通过激活函数决定是否输出信号；而深度学习是神经网络的进阶，利用多个神经网络处理数据，有着更复杂的结构和优化的算法。他们都是机器学习的重要组成部分，用于解决以往的机器学习方法不能处理的非结构化数据。目前瓶颈：
（1）需要大量数据标本，对样本的过度依赖使得深度学习在监督学习上有所不足。
（2）过度拟合基准数据，比如说在图像识别上，深度神经网络在基准数据集上表现很好，但在数据集之外的真实世界图像上，效果就差强人意了。

下面对前两周主要知识进行总结:

1、感知机
感知机是在1957年时由Rosenblatt提出的，可以解决线性分类问题，是神经网络和支持向量机的基础。
  
2、多层感知机
XOR问题：Minsky于1969年提出XOR问题，无法进行线性分类。多层感知器网络，有如下定理：
    定理1：若隐层节点（单元）可任意设置，用三层阈值节点的网络，可以实现任意的二值逻辑函数；
    定理2：若隐层节点（单元）可任意设置，用三层S型非线性特性节点的网络，可以一致逼近紧集上的连续函数或按范数逼近紧集上的平方可积函数。

3、多层前馈网络
多层感知机是一种多层前馈网络，由多层神经网络构成，每层网络将输出传递给下一层网络。神经元间的权值连接仅出现在相邻层之间，不出现在其他位置。如果每一个神经元都连接到上一层的所有神经元（除输入层外），则为全连接网络，本文下面讨论的都是此类网络。

4、BP算法
多层前馈网络的反向传播（BP）学习算法，简称BP算法，是有导师的学习，是梯度下降法在多层前馈网络中的应用。
BP学习算法由正向传播和反向传播组成：
① 正向传播是输入信号从输入层经隐层，传向输出层，若输出层得到了期望的输出，则算法结束；否则，反向传播；
② 反向传播是将误差（样本输出与网络输出之差）按原连接通路反向计算，由梯度下降法调整各层节点的权值和阈值，使误差减小。

5、性能优化
由于神经网络与深度学习通常与大量数据相关，一般需要对数据或算法进行优化以提升性能。
Dropout(暂退)：在整个训练过程的每一次迭代中，标准暂退法包括在计算下 一层之前将当前层中的一些节点置零。

6、总结，对前两周自己感觉欠缺的知识点进行了总结，第一次帖在小红书，限字数1000，希望老师批评指正。