机器学习任务攻略loss过大检查model bias 若model bias太简单就重新设计一个复杂的model比如增加feature或者用deeplearning类神经网络(一)不是只有local minima的gradient是零还有其他可能比如saddle point(gradient为零但不是local minima也不是local maxium的地方)这些gradient为零的点统称为critical point卡在local minima还是saddle point其中的H不仅可以指出现在是不是在一个saddle point 还能指出参数可以update的方向。类神经网络(二)上图下面的黑框里的并不一定是正确的因为CPU有并行的能力所以batch size为1000时所花费时间不会是batch size为1时的1000倍。所以batch size小并不一定花费时间短。并且用大的batch size的时候optimization可能会有问题用小的batch size效果可能会好。另外小的batch size在testing的时候表现会更好。很多人认为大的batch size会更容易走到峡谷里面小的batch size更容易走到盆地里面。batch size总结Momentum技术有可能对抗sattle point 或local minima的技术大致作用方式如下类神经网络(三)critical point 有时并不是训练过程中最大的障碍想要根据不同参数调整学习率使模型在坡度大的时候learning rate就减小坡度小的时候learning rate就增大1.Root Mean Square每个gredient都有同等的重要性2.RMSProp3.Adam现在最常用的用法pytorch等可以直接用Learning Rate Scheduling在模型训练过程中动态调整优化器的学习率以平衡收敛速度与稳定性从而提升模型性能。固定学习率往往难以兼顾训练初期的快速下降和后期的精细收敛而学习率调度策略通过在不同训练阶段智能地增减学习率帮助模型更高效、更稳定地找到最优解。最近的方法学习率调度Learning Rate Scheduling策略_学习率调度策略-CSDN博客类神经网络(四)通过改loss function 来改变optimization的难度