问题
1、为什么mini batch的噪音可以让他在最小处徘徊。
2、矩阵求导,
3、学习阶段为什么要用softmax
悟道;分类才使用softmax与交叉熵函数,是为了更好的进行反向传播;回归使用均值回归与恒等函数,也是更好反向传播。正则化很可能是用于规划每次学习的速度的,保证无论什么量纲,在one hot的情况下,都能保持标准的学习速度。
第五章:
内容是反向传播,利用的是链式法则。
内容不难,就是搭积木的思想进行神经网络拼装。
Affine是开始的积木
softmax是结束的积木
中间的积木是激活函数relu
当然还明白了一些交叉熵函数与soft函数的选择原因与合理性
然后就是彻底搞定了minibatch,合理性也自我理解了