使用不同任务的数据进行迁移学习

对于数据量不大的应用迁移学习是一种很棒的技术允许使用不同任务的数据来帮助你的应用迁移学习的工作原理当想要做一个0-9的数字识别但是没有标签数据我们手头没有大量的数据进行模型训练我们可以使用迁移学习首先下载一个类似的模型然后我们有两种训练方式如下图所示方式只训练冻结预训练模型所有原有层参数只更新新输出层参数W5B5,这种方式只适用于拥有的数据集比较小的时候方式2是跟新所有的参数这种方式适用于有较多的数据集得到情况为什么我们可以用别人训练好的模型最终的任务不一样为什么复用其他人的模型依然有效神经网络的前几层学到的是通用底层特征边缘、角点、纹理、简单形状。这些特征对几乎所有同类型输入如图像的任务都有用。因为前几层是通用的他们提取图像的边缘角点纹理以及弧度形状等等这些在同一个分类模型中都是通用的所以我们要找到同一类的机器学习模型前几层是可以通用的这就是迁移学习。注意如果输入类型不同如用文本预训练模型去做图像任务迁移学习通常无效。