#深度学习有感
愈发觉得训练网络就像是在教学生一样:
各式各样的网络就像是性格迥异、天赋不同的学生;
我们这些“炼丹师”就像老师。
我们得给网络提供各式各样的教材(Data&Label),传授网络各种学习方法(超参数,学习策略等)。
对于同样的教材(Data&Label)和学习方法(超参数,学习策略等),不同的学生(网络)学习或接受到的东西和程度(性能)各有不同。
所以,其实我们“炼丹”的过程和老师上课其实是差不多的:
如何设计(收集)出最适合的教材(数据)和学习任务来帮助学生(网络)进行学习?如何保证大多数学生都能学会(不同网络学习的通用型)?如何对具体的某个学生进行因材施教(tailor to a specific network)?又如何在二者之间取平衡来保证全班同学学习性能的最大化?