MAE零点不可导与小误差震荡的完整关系解析1. 基础数学定义MAE损失L∣e∣L|e|L∣e∣ey^−ye\hat y-yey^−y为预测误差e0e0e0导数dLde1\frac{dL}{de}1dedL1e0e0e0导数dLde−1\frac{dL}{de}-1dedL−1e0e0e0左侧斜率-1右侧斜率1左右导数不相等零点不可导2. MAE独有双重特性震荡的两个必要条件零点存在尖角穿过零点时梯度符号瞬间反转梯度绝对值恒为1无论误差多小更新步长固定不变不会自动减速。3. 完整震荡形成逻辑模型进入小误差区间e0e0e0接近0梯度1固定步长减小权重步长不衰减一次更新直接跨过e0e0e0不可导点误差变为e0e0e0穿过零点后梯度立刻从111翻转成−1-1−1参数更新方向完全反向下一轮更新又会反向冲回正数区间误差在0两侧反复横跳损失持续震荡无法精准收敛到最优值。4. 零点不可导在震荡中的核心作用零点是梯度正负切换的分界点光滑可导函数MSE/Smooth L1梯度数值平滑过渡不会出现180°方向突变MAE零点尖角只要穿过该点更新方向直接反转是震荡的根源分界。5. 和MSE对比无震荡的原因MSE梯度dLdee\frac{dL}{de}ededLe梯度大小随误差同步缩小越靠近e0e0e0更新步长越轻平缓滑向零点不存在跨点、梯度翻转无震荡。6. Smooth L1解决方案分段函数小误差区间替换为平方损失SmoothL1(e){0.5e2∣e∣1∣e∣−0.5∣e∣≥1 \text{SmoothL1}(e) \begin{cases} 0.5e^2 |e|1 \\ |e|-0.5 |e|\ge1 \end{cases}SmoothL1(e){0.5e2∣e∣−0.5∣e∣1∣e∣≥1消除V型尖角全程光滑可导无梯度突变小误差梯度随误差衰减更新平缓彻底解决震荡。
MAE零点不可导与小误差震荡的完整关系解析1. 基础数学定义MAE损失L∣e∣L|e|L∣e∣ey^−ye\hat y-yey^−y为预测误差e0e0e0导数dLde1\frac{dL}{de}1dedL1e0e0e0导数dLde−1\frac{dL}{de}-1dedL−1e0e0e0左侧斜率-1右侧斜率1左右导数不相等零点不可导2. MAE独有双重特性震荡的两个必要条件零点存在尖角穿过零点时梯度符号瞬间反转梯度绝对值恒为1无论误差多小更新步长固定不变不会自动减速。3. 完整震荡形成逻辑模型进入小误差区间e0e0e0接近0梯度1固定步长减小权重步长不衰减一次更新直接跨过e0e0e0不可导点误差变为e0e0e0穿过零点后梯度立刻从111翻转成−1-1−1参数更新方向完全反向下一轮更新又会反向冲回正数区间误差在0两侧反复横跳损失持续震荡无法精准收敛到最优值。4. 零点不可导在震荡中的核心作用零点是梯度正负切换的分界点光滑可导函数MSE/Smooth L1梯度数值平滑过渡不会出现180°方向突变MAE零点尖角只要穿过该点更新方向直接反转是震荡的根源分界。5. 和MSE对比无震荡的原因MSE梯度dLdee\frac{dL}{de}ededLe梯度大小随误差同步缩小越靠近e0e0e0更新步长越轻平缓滑向零点不存在跨点、梯度翻转无震荡。6. Smooth L1解决方案分段函数小误差区间替换为平方损失SmoothL1(e){0.5e2∣e∣1∣e∣−0.5∣e∣≥1 \text{SmoothL1}(e) \begin{cases} 0.5e^2 |e|1 \\ |e|-0.5 |e|\ge1 \end{cases}SmoothL1(e){0.5e2∣e∣−0.5∣e∣1∣e∣≥1消除V型尖角全程光滑可导无梯度突变小误差梯度随误差衰减更新平缓彻底解决震荡。
