重点-偏差方差与神经网络

高偏差和高方差都是不好的他们都会损害算法的性能神经网络用了一种新的方式来解决高偏差和高方差的问题在一个数据集中如果模型过于简单就会产长高偏差如果模型过于复杂就会产生高偏差我们要做的就是好的模型在高方差和高偏差之间我们要找到这个平衡点大型神经网络在中小规模的数据集中都是低偏差他们都可以很好的拟合数据线下有个方法虽然不常用但是在训练神经网络的时候我们遇到高偏差低于人类水平我们就增加神经网络的隐藏层吧神经网络变得复杂然后再次训练看结果直到地偏差接近或者达到人类或者同类竞争算法的标准然后就是测试集当测试集出现高偏差的时候我们就增加数据再去训练这样循环直到不出现高偏差就去用验证集验证我们可能会担心如果我的神经网络太大了怎么办事实证明一个经过训练的大型神经网络通常表现得和较小的一样好甚至更好小神经网络变成大的神经网络可能会认为过拟合的风险会显著提升但是适当的正则化这个大的神经网络如果神经网络的损失函数是平均损失这里的损失函数可以是平均误差或者逻辑误损失那么神经网络的正则化是lambda除以2m乘以W的平方上面的是没有正则化的TensorFlow下面是正则化之后的TensorFlow本节的两个重点1.只要适当正则化拥有一个更大的神经网络几乎不会有什么坏处一个要注意的地方是拥有一个更大的神经网络会减慢算法速度但是在大多数的情况下是不会影响算法的性能的2.只要你的数据集不是太大那么一个神经网络尤其是大型神经网络通常是一个低偏差的机器他非常适合你和复杂的函数