华为AI学习心得(第三周)通过第六章的学习,理解了初始化的重要性,初始点的选取将会决定算法是否收敛,收敛的速度,过大的初始化会导致指数爆炸,过小的初始化导致梯度消失。了解了几种不同初始化方法及各自优缺点,能够针对不同情况选择合适的初始化方法。通过第七章的学习,了解了参数调节的目的,学习了几种超参数的调节方法,包括试错法,网格搜索,随机搜索和贝叶斯优化;以及几种训练技巧,包括梯度裁剪,迁移学习,微调。