新手小白快速理解——ReNet残差网络

一、背景在ResNet提出之前深度学习的主流共识是“网络层次越深越好”因为理论上更深网络拥有更强的特征表示能力。但在实践过程中研究者遇到了两个核心障碍1、梯度消失/爆炸顾名思义梯度消失是指在反向传播过程中梯度值随着网络层数的增加逐渐减小最终趋近于零。这会导致靠近输入层的权重几乎无法更新模型难以学习有效特征。反之便是梯度爆炸即梯度值在反向传播过程中迅速增大导致模型参数更新不稳定甚至发散。2、网络退化问题当网络层数增加到某个阈值后训练误差反而开始上升然而这个问题却不是过拟合指模型在训练数据集上表现良好在测试数据集上表现很差造成的而是深层网络难以优化——它甚至无法简单地“复制”浅层网络的输出。二、核心思想为解决上面遇到的问题ResNet 提出残差学习框架1、残差映射表示堆叠的非线性层如卷积、BN、ReLU等实际拟合的函数。通俗的说是单个残差块经过多层卷积学到的东西是进入当前残差块的输入张量。表示期望映射即期待这个残差块学到的理想输出。则原始期望值为2、残差连接先定义一个残差单元为表示第个残差单元的输出表示第个残差单元的输出也是第个残差单元的输入表示第个残差块的参数是残差结构表示学习到的残差经过层层递归则任意深层单元特征的表达式3、维度不匹配时当输入与残差的维度通道数或特征图尺寸不一致时无法直接相加。此时需进行线性投影调整维度三、本质优势之所以能达到这个效果最大的优势在于——反向传播中的加法效应假设损失函数为反向传播时浅层的梯度由链式法则可得式中恒定的1确保了梯度可以在任何深度直接无损地传递回浅层彻底打破了连乘导致的梯度消失的困境。四、小结ResNet 通过残差连接将网络学习目标从完整映射转化为残差映射在数学上利用反向传播的加法恒等项保证了梯度畅通从而破解了深层网络的退化问题。