1. Sigmoid函数从“为什么”到“怎么用”在机器学习和神经网络领域尤其是早期的逻辑回归和浅层神经网络中Sigmoid函数是一个绕不开的经典激活函数。它的数学形式优雅输出范围被压缩在(0, 1)之间这使得它天然适合用来表示概率。很多初学者第一次接触反向传播算法时遇到的第一个需要手动求导的激活函数往往就是Sigmoid。然而它的求导过程虽然不复杂但其中蕴含的数学技巧和化简思路却是理解更复杂函数求导的绝佳练手材料。更重要的是理解其导数形式σ(x) * (1 - σ(x))不仅是为了完成一次数学作业更是为了洞察其特性当函数值接近0或1时导数会趋近于0这正是导致“梯度消失”问题的根源。今天我们就抛开那些直接给出结论的教程从头到尾、一步一步地像解一道精致的数学谜题一样完成Sigmoid函数的求导推导。这个过程本身就是一种思维训练。2. Sigmoid函数求导的完整推导过程2.1 预备知识认识Sigmoid函数与其核心特性Sigmoid函数通常用 σ(x) 表示其标准定义如下σ(x) 1 / (1 e^{-x})这个函数有几个一目了然但至关重要的特性是我们后续推导的基石。首先它的值域是(0, 1)无论输入x是正无穷大还是负无穷大输出都只会无限接近1或0而不会等于它们。其次它是一个光滑且连续的函数处处可导这是应用梯度下降法的基本前提。最有趣的是它关于y轴对称吗不但它有一个迷人的性质1 - σ(x) σ(-x)。这个性质可以从代数推导直接得出也为我们后续的求导化简埋下了一个巧妙的伏笔。在开始求导前我们必须像熟悉老朋友一样熟悉这个函数表达式本身。2.2 推导起点应用商数求导法则我们的目标是求 σ(x) 关于 x 的导数即 dσ(x)/dx。观察 σ(x) 1 / (1 e^{-x})这是一个典型的“常数除以函数”的形式因此最直接的工具是商数求导法则。商数法则告诉我们对于函数 f(x) g(x) / h(x)其导数 f‘(x) [g’(x)h(x) - g(x)h‘(x)] / [h(x)]^2。在Sigmoid函数中我们可以清晰地定义g(x) 1 分子常数函数h(x) 1 e^{-x} 分母那么它们各自的导数非常简单g‘(x) 0 常数的导数为0h’(x) d(1)/dx d(e^{-x})/dx 0 e^{-x} * d(-x)/dx e^{-x} * (-1) -e^{-x} 这里用到了指数函数求导法则和链式法则。现在我们将这些部分代入商数求导公式 dσ(x)/dx [g‘(x) * h(x) - g(x) * h’(x)] / [h(x)]^2 [0 * (1 e^{-x}) - 1 * (-e^{-x})] / (1 e^{-x})^2 (0 e^{-x}) / (1 e^{-x})^2 e^{-x} / (1 e^{-x})^2至此我们得到了Sigmoid导数的一种中间形式。这个形式是正确的但不够简洁也未能揭示其与函数本身σ(x)的美妙关系。我们的推导之旅才完成了一半。2.3 关键化简得到优雅的最终形式上一步我们得到了 dσ/dx e^{-x} / (1 e^{-x})^2。现在的任务是将它化简成以 σ(x) 表示的形式。这个过程需要一点观察和技巧。首先我们从分母 (1 e^{-x})^2 入手。注意到 Sigmoid 函数本身的分母就是 (1 e^{-x})所以 σ(x) 1 / (1 e^{-x})。那么自然有 (1 e^{-x}) 1 / σ(x)将其平方就得到分母的表达式 (1 e^{-x})^2 [1 / σ(x)]^2 1 / [σ(x)]^2接下来处理分子 e^{-x}。这里需要一点小技巧。我们从 σ(x) 的定义式进行逆推 因为 σ(x) 1 / (1 e^{-x})所以 1 e^{-x} 1 / σ(x)。 那么e^{-x} [1 / σ(x)] - 1 (1 - σ(x)) / σ(x)。现在分子分母的替换材料都准备好了分子e^{-x} (1 - σ(x)) / σ(x)分母(1 e^{-x})^2 1 / [σ(x)]^2将它们代回导数表达式 dσ/dx [ (1 - σ(x)) / σ(x) ] / [ 1 / (σ(x))^2 ] 一个分式除以另一个分式等于乘以它的倒数 [ (1 - σ(x)) / σ(x) ] * [ (σ(x))^2 / 1 ] (1 - σ(x)) * σ(x)于是我们得到了那个著名且极其优雅的最终形式σ‘(x) σ(x) * (1 - σ(x))注意这个化简过程有多种等价路径。例如也可以直接从中间形式 e^{-x} / (1 e^{-x})^2 出发分子分母同时乘以 e^{2x}得到 1/(e^{x} 2 e^{-x})再通过配方法化简但远不如上述方法利用函数自身定义来得直接和巧妙。掌握这种“用函数自身表示其导数”的思路在数学推导中非常高效。2.4 导数形式的几何与物理意义解读得到 σ‘(x) σ(x)(1 - σ(x)) 这个形式后我们不禁要问它告诉了我们什么首先由于 σ(x) 的值在0到1之间那么 (1 - σ(x)) 也在0到1之间。因此Sigmoid函数的导数永远是一个介于0到0.25之间的正数因为当 σ(x)0.5 时导数取得最大值 0.5*0.50.25。我们可以绘制出 σ(x) 和 σ‘(x) 的图像。σ(x) 是一条从0平滑增长到1的S形曲线。而 σ’(x) 则是一条类似钟形正态分布的曲线在 x0 即 σ(x)0.5处达到峰值0.25并向两侧迅速衰减至0。这意味着当神经元的输入x的绝对值很大时无论正负Sigmoid函数的梯度会变得非常小接近于0。在反向传播中梯度需要层层回传。如果每一层激活函数的梯度都小于1那么多层连乘之后传回网络浅层的梯度会指数级地变小直至几乎无法更新权重。这就是所谓的“梯度消失”问题。Sigmoid函数的这一导数特性正是其在深度神经网络中被ReLU等函数逐渐取代的主要原因之一。理解这个导数形式不仅是为了记忆一个公式更是为了理解一种重要的网络行为限制。3. 从理论到实践求导结果的应用与验证3.1 在反向传播中的具体应用示例理论推导很优美但最终要服务于计算。我们来看一个在逻辑回归或神经网络单神经元中的具体应用场景。假设我们有一个简单的神经元输入为z可能是上一层输出的加权和经过Sigmoid激活后得到输出 a σ(z)。在计算损失函数L关于参数w的梯度时我们需要用到链式法则∂L/∂w (∂L/∂a) * (∂a/∂z) * (∂z/∂w)。这里的关键中间项 ∂a/∂z 就是 Sigmoid 在点 z 处的导数。根据我们的推导结果我们无需每次都用复杂的商法则重新计算而是可以直接写出∂a/∂z a * (1 - a)其中 a σ(z) 是当前已知的该神经元的输出值。例如在二分类逻辑回归的交叉熵损失中假设真实标签y1预测值 a σ(z) 损失 L -[y*log(a) (1-y)log(1-a)] -log(a)。那么梯度下降中用于更新参数的梯度计算为 ∂L/∂z (∂L/∂a) * (∂a/∂z) (-1/a) * [a(1-a)] a - 1 看利用我们推导的简洁导数形式整个计算过程变得非常清晰和高效。如果使用原始的 e^{-z}/(1e^{-z})^2 形式计算会繁琐得多且不利于代码的向量化实现。3.2 使用数值方法进行梯度检验无论推导多么严谨在实现复杂的机器学习算法时对梯度计算进行验证都是一个好习惯。数值梯度检验Gradient Checking是一种简单有效的方法。其核心思想是利用导数的定义来近似计算梯度。对于Sigmoid函数在某点x的导数其定义为 f‘(x) lim (ε - 0) [f(xε) - f(x-ε)] / (2ε)。我们可以用一个很小的数比如 ε 1e-5 来计算双边差分近似值 numerical_grad (σ(x ε) - σ(x - ε)) / (2 * ε)然后将这个数值梯度与我们用解析公式计算出的梯度 analytic_grad σ(x)*(1-σ(x)) 进行比较。通常如果两者的绝对差或相对差在一个极小的容忍范围内例如1e-7我们就可以确信解析梯度的实现是正确的。这里有一个实操心得进行梯度检验时最好随机测试多个点特别是边界点如x很大或很小和中间点x0附近。因为浮点数计算在极端值附近可能会有精度损失。另外选择合适的ε值很重要太小会放大浮点误差太大则近似不准确通常1e-5到1e-7是一个比较安全的选择。这个技巧不仅适用于Sigmoid对于任何你自己实现梯度计算的复杂函数都是调试的利器。3.3 不同编程语言下的实现对比理解了数学原理我们来看看如何在代码中实现Sigmoid及其导数。一个健壮的实现不仅要正确还要考虑数值稳定性。Python (NumPy) 实现import numpy as np def sigmoid(x): # 为了防止x为很大的负数时e^x溢出为0我们做一个优化 # 当x0时使用原始公式当x0时使用等价公式 e^x / (1e^x) 来避免计算e^{-x}可能溢出 return np.where(x 0, 1 / (1 np.exp(-x)), np.exp(x) / (1 np.exp(x))) def sigmoid_grad(x): # 直接使用导数公式 σ(x)*(1-σ(x)) s sigmoid(x) return s * (1 - s)注意上述sigmoid函数中的np.where判断是针对数值稳定性的一个经典技巧。对于非常大的负x如-1000np.exp(-x)会变成np.exp(1000)导致上溢overflow。而转换公式后计算的是np.exp(-1000)它下溢underflow为0结果是稳定的0。对于正数则不存在这个问题。手动计算与库函数对比在TensorFlow或PyTorch中我们通常不需要手动实现Sigmoid的梯度因为框架的自动微分Autograd会帮我们处理。例如在PyTorch中import torch x torch.tensor([1.0], requires_gradTrue) y torch.sigmoid(x) # 前向传播 y.backward() # 反向传播 print(x.grad) # 自动计算出的梯度应与 sigmoid(1)*(1-sigmoid(1)) 相等但了解其手动实现方式有助于我们在自定义激活函数、或是在资源受限环境下进行模型部署时进行底层优化。例如在C或嵌入式环境中实现时我们就会直接使用优化后的数值稳定版本和导数公式。4. 常见误区、问题排查与扩展思考4.1 推导与计算中的常见陷阱即使知道了最终公式在实际理解和应用时仍有一些常见的坑点。变量混淆在神经网络链式求导中务必清楚每个符号的含义。σ(z) 的导数是 σ(z)(1-σ(z)) 这里的自变量是z。但如果你的激活函数输出记为a那么 ∂a/∂z a(1-a)。切勿写成 ∂a/∂a 或其他形式。数值溢出如前所述直接计算1 / (1 np.exp(-x))在x为很大的负数时会出问题。np.exp(-x)可能巨大导致溢出。这就是为什么在生产级代码中需要使用经过数值稳定性优化的版本。“梯度消失”的直观理解很多同学记住了“Sigmoid会导致梯度消失”但不清楚何时发生。从导数图像可知当 |x| 4~5 时σ(x) 已经非常接近0或1其导数 σ‘(x) 则小于0.02变得非常小。在深度网络中如果很多神经元的输入都落在这个区域那么连乘后的梯度就会指数级衰减权重更新几乎停滞。导数最大值σ‘(x) 的最大值是0.25这意味着在反向传播中每经过一个Sigmoid层梯度信号至少会衰减为原来的1/4当输入为0时。这是对梯度消失问题一个定量的理解。4.2 Sigmoid与类似函数求导的对比理解Sigmoid的求导后可以将其思路迁移到其他类似函数举一反三。Tanh函数tanh(x) (e^x - e^{-x}) / (e^x e^{-x})。其导数也可以通过类似化简得到tanh‘(x) 1 - tanh^2(x)。推导过程同样可以先求导再化简或者利用其与Sigmoid的关系 tanh(x) 2σ(2x) - 1 来推导。Tanh的导数范围是(0, 1]最大值为1当x0时缓解了Sigmoid梯度衰减过快的问题但其梯度消失问题依然存在。Softmax函数用于多分类其求导比Sigmoid复杂因为它的输出是向量且每个分量相互关联。对于第i个输出关于第j个输入的偏导 ∂S_i/∂z_j 当 ij 时为 S_i(1-S_j) 当 i≠j 时为 -S_i S_j。可以看到当 ij 时其形式与Sigmoid导数神似。理解Sigmoid求导是理解Softmax求导的良好基础。Logistic函数与Sigmoid通常两者混用。严格来说标准Logistic函数是Sigmoid函数的一种特例即我们推导的σ(x)。有时“Sigmoid”也指代任何S形函数。4.3 超越求导对模型设计的启示对Sigmoid函数求导的深入理解最终应反馈到我们的模型设计选择上。初始化的重要性由于Sigmoid在|z|较大时梯度饱和因此我们必须确保神经元的初始输入z即权重与输入的加权和不要过大或过小。这就是为什么在Sigmoid时代常采用Xavier初始化等方法旨在使每一层输出的方差保持一致尽可能让激活值落在梯度较大的区域。激活函数的选择正是由于Sigmoid/Tanh的梯度消失问题ReLU及其变种Leaky ReLU, PReLU, ELU成为了深度网络的主流选择。ReLU的导数在正区恒为1彻底解决了正区间的梯度消失问题且计算极其简单。残差连接ResNet的另一种视角残差网络中的跳跃连接Skip Connection创造了一条梯度可以直接回传的“高速公路”这可以看作是从结构上对抗梯度消失的一种手段即使网络中仍然使用了某些有饱和区的激活函数。所以手动推导Sigmoid求导远不止于记忆一个公式。它是一个窗口让我们窥见了激活函数、梯度流、初始化以及网络结构设计之间深刻的联系。下次当你轻敲键盘调用一行torch.sigmoid()时希望你的脑海中能清晰地浮现出那条优美的S形曲线以及它那如钟形般消散的梯度轨迹。知其然亦知其所以然这大概就是学习过程中最坚实的乐趣所在。
1. Sigmoid函数从“为什么”到“怎么用”在机器学习和神经网络领域尤其是早期的逻辑回归和浅层神经网络中Sigmoid函数是一个绕不开的经典激活函数。它的数学形式优雅输出范围被压缩在(0, 1)之间这使得它天然适合用来表示概率。很多初学者第一次接触反向传播算法时遇到的第一个需要手动求导的激活函数往往就是Sigmoid。然而它的求导过程虽然不复杂但其中蕴含的数学技巧和化简思路却是理解更复杂函数求导的绝佳练手材料。更重要的是理解其导数形式σ(x) * (1 - σ(x))不仅是为了完成一次数学作业更是为了洞察其特性当函数值接近0或1时导数会趋近于0这正是导致“梯度消失”问题的根源。今天我们就抛开那些直接给出结论的教程从头到尾、一步一步地像解一道精致的数学谜题一样完成Sigmoid函数的求导推导。这个过程本身就是一种思维训练。2. Sigmoid函数求导的完整推导过程2.1 预备知识认识Sigmoid函数与其核心特性Sigmoid函数通常用 σ(x) 表示其标准定义如下σ(x) 1 / (1 e^{-x})这个函数有几个一目了然但至关重要的特性是我们后续推导的基石。首先它的值域是(0, 1)无论输入x是正无穷大还是负无穷大输出都只会无限接近1或0而不会等于它们。其次它是一个光滑且连续的函数处处可导这是应用梯度下降法的基本前提。最有趣的是它关于y轴对称吗不但它有一个迷人的性质1 - σ(x) σ(-x)。这个性质可以从代数推导直接得出也为我们后续的求导化简埋下了一个巧妙的伏笔。在开始求导前我们必须像熟悉老朋友一样熟悉这个函数表达式本身。2.2 推导起点应用商数求导法则我们的目标是求 σ(x) 关于 x 的导数即 dσ(x)/dx。观察 σ(x) 1 / (1 e^{-x})这是一个典型的“常数除以函数”的形式因此最直接的工具是商数求导法则。商数法则告诉我们对于函数 f(x) g(x) / h(x)其导数 f‘(x) [g’(x)h(x) - g(x)h‘(x)] / [h(x)]^2。在Sigmoid函数中我们可以清晰地定义g(x) 1 分子常数函数h(x) 1 e^{-x} 分母那么它们各自的导数非常简单g‘(x) 0 常数的导数为0h’(x) d(1)/dx d(e^{-x})/dx 0 e^{-x} * d(-x)/dx e^{-x} * (-1) -e^{-x} 这里用到了指数函数求导法则和链式法则。现在我们将这些部分代入商数求导公式 dσ(x)/dx [g‘(x) * h(x) - g(x) * h’(x)] / [h(x)]^2 [0 * (1 e^{-x}) - 1 * (-e^{-x})] / (1 e^{-x})^2 (0 e^{-x}) / (1 e^{-x})^2 e^{-x} / (1 e^{-x})^2至此我们得到了Sigmoid导数的一种中间形式。这个形式是正确的但不够简洁也未能揭示其与函数本身σ(x)的美妙关系。我们的推导之旅才完成了一半。2.3 关键化简得到优雅的最终形式上一步我们得到了 dσ/dx e^{-x} / (1 e^{-x})^2。现在的任务是将它化简成以 σ(x) 表示的形式。这个过程需要一点观察和技巧。首先我们从分母 (1 e^{-x})^2 入手。注意到 Sigmoid 函数本身的分母就是 (1 e^{-x})所以 σ(x) 1 / (1 e^{-x})。那么自然有 (1 e^{-x}) 1 / σ(x)将其平方就得到分母的表达式 (1 e^{-x})^2 [1 / σ(x)]^2 1 / [σ(x)]^2接下来处理分子 e^{-x}。这里需要一点小技巧。我们从 σ(x) 的定义式进行逆推 因为 σ(x) 1 / (1 e^{-x})所以 1 e^{-x} 1 / σ(x)。 那么e^{-x} [1 / σ(x)] - 1 (1 - σ(x)) / σ(x)。现在分子分母的替换材料都准备好了分子e^{-x} (1 - σ(x)) / σ(x)分母(1 e^{-x})^2 1 / [σ(x)]^2将它们代回导数表达式 dσ/dx [ (1 - σ(x)) / σ(x) ] / [ 1 / (σ(x))^2 ] 一个分式除以另一个分式等于乘以它的倒数 [ (1 - σ(x)) / σ(x) ] * [ (σ(x))^2 / 1 ] (1 - σ(x)) * σ(x)于是我们得到了那个著名且极其优雅的最终形式σ‘(x) σ(x) * (1 - σ(x))注意这个化简过程有多种等价路径。例如也可以直接从中间形式 e^{-x} / (1 e^{-x})^2 出发分子分母同时乘以 e^{2x}得到 1/(e^{x} 2 e^{-x})再通过配方法化简但远不如上述方法利用函数自身定义来得直接和巧妙。掌握这种“用函数自身表示其导数”的思路在数学推导中非常高效。2.4 导数形式的几何与物理意义解读得到 σ‘(x) σ(x)(1 - σ(x)) 这个形式后我们不禁要问它告诉了我们什么首先由于 σ(x) 的值在0到1之间那么 (1 - σ(x)) 也在0到1之间。因此Sigmoid函数的导数永远是一个介于0到0.25之间的正数因为当 σ(x)0.5 时导数取得最大值 0.5*0.50.25。我们可以绘制出 σ(x) 和 σ‘(x) 的图像。σ(x) 是一条从0平滑增长到1的S形曲线。而 σ’(x) 则是一条类似钟形正态分布的曲线在 x0 即 σ(x)0.5处达到峰值0.25并向两侧迅速衰减至0。这意味着当神经元的输入x的绝对值很大时无论正负Sigmoid函数的梯度会变得非常小接近于0。在反向传播中梯度需要层层回传。如果每一层激活函数的梯度都小于1那么多层连乘之后传回网络浅层的梯度会指数级地变小直至几乎无法更新权重。这就是所谓的“梯度消失”问题。Sigmoid函数的这一导数特性正是其在深度神经网络中被ReLU等函数逐渐取代的主要原因之一。理解这个导数形式不仅是为了记忆一个公式更是为了理解一种重要的网络行为限制。3. 从理论到实践求导结果的应用与验证3.1 在反向传播中的具体应用示例理论推导很优美但最终要服务于计算。我们来看一个在逻辑回归或神经网络单神经元中的具体应用场景。假设我们有一个简单的神经元输入为z可能是上一层输出的加权和经过Sigmoid激活后得到输出 a σ(z)。在计算损失函数L关于参数w的梯度时我们需要用到链式法则∂L/∂w (∂L/∂a) * (∂a/∂z) * (∂z/∂w)。这里的关键中间项 ∂a/∂z 就是 Sigmoid 在点 z 处的导数。根据我们的推导结果我们无需每次都用复杂的商法则重新计算而是可以直接写出∂a/∂z a * (1 - a)其中 a σ(z) 是当前已知的该神经元的输出值。例如在二分类逻辑回归的交叉熵损失中假设真实标签y1预测值 a σ(z) 损失 L -[y*log(a) (1-y)log(1-a)] -log(a)。那么梯度下降中用于更新参数的梯度计算为 ∂L/∂z (∂L/∂a) * (∂a/∂z) (-1/a) * [a(1-a)] a - 1 看利用我们推导的简洁导数形式整个计算过程变得非常清晰和高效。如果使用原始的 e^{-z}/(1e^{-z})^2 形式计算会繁琐得多且不利于代码的向量化实现。3.2 使用数值方法进行梯度检验无论推导多么严谨在实现复杂的机器学习算法时对梯度计算进行验证都是一个好习惯。数值梯度检验Gradient Checking是一种简单有效的方法。其核心思想是利用导数的定义来近似计算梯度。对于Sigmoid函数在某点x的导数其定义为 f‘(x) lim (ε - 0) [f(xε) - f(x-ε)] / (2ε)。我们可以用一个很小的数比如 ε 1e-5 来计算双边差分近似值 numerical_grad (σ(x ε) - σ(x - ε)) / (2 * ε)然后将这个数值梯度与我们用解析公式计算出的梯度 analytic_grad σ(x)*(1-σ(x)) 进行比较。通常如果两者的绝对差或相对差在一个极小的容忍范围内例如1e-7我们就可以确信解析梯度的实现是正确的。这里有一个实操心得进行梯度检验时最好随机测试多个点特别是边界点如x很大或很小和中间点x0附近。因为浮点数计算在极端值附近可能会有精度损失。另外选择合适的ε值很重要太小会放大浮点误差太大则近似不准确通常1e-5到1e-7是一个比较安全的选择。这个技巧不仅适用于Sigmoid对于任何你自己实现梯度计算的复杂函数都是调试的利器。3.3 不同编程语言下的实现对比理解了数学原理我们来看看如何在代码中实现Sigmoid及其导数。一个健壮的实现不仅要正确还要考虑数值稳定性。Python (NumPy) 实现import numpy as np def sigmoid(x): # 为了防止x为很大的负数时e^x溢出为0我们做一个优化 # 当x0时使用原始公式当x0时使用等价公式 e^x / (1e^x) 来避免计算e^{-x}可能溢出 return np.where(x 0, 1 / (1 np.exp(-x)), np.exp(x) / (1 np.exp(x))) def sigmoid_grad(x): # 直接使用导数公式 σ(x)*(1-σ(x)) s sigmoid(x) return s * (1 - s)注意上述sigmoid函数中的np.where判断是针对数值稳定性的一个经典技巧。对于非常大的负x如-1000np.exp(-x)会变成np.exp(1000)导致上溢overflow。而转换公式后计算的是np.exp(-1000)它下溢underflow为0结果是稳定的0。对于正数则不存在这个问题。手动计算与库函数对比在TensorFlow或PyTorch中我们通常不需要手动实现Sigmoid的梯度因为框架的自动微分Autograd会帮我们处理。例如在PyTorch中import torch x torch.tensor([1.0], requires_gradTrue) y torch.sigmoid(x) # 前向传播 y.backward() # 反向传播 print(x.grad) # 自动计算出的梯度应与 sigmoid(1)*(1-sigmoid(1)) 相等但了解其手动实现方式有助于我们在自定义激活函数、或是在资源受限环境下进行模型部署时进行底层优化。例如在C或嵌入式环境中实现时我们就会直接使用优化后的数值稳定版本和导数公式。4. 常见误区、问题排查与扩展思考4.1 推导与计算中的常见陷阱即使知道了最终公式在实际理解和应用时仍有一些常见的坑点。变量混淆在神经网络链式求导中务必清楚每个符号的含义。σ(z) 的导数是 σ(z)(1-σ(z)) 这里的自变量是z。但如果你的激活函数输出记为a那么 ∂a/∂z a(1-a)。切勿写成 ∂a/∂a 或其他形式。数值溢出如前所述直接计算1 / (1 np.exp(-x))在x为很大的负数时会出问题。np.exp(-x)可能巨大导致溢出。这就是为什么在生产级代码中需要使用经过数值稳定性优化的版本。“梯度消失”的直观理解很多同学记住了“Sigmoid会导致梯度消失”但不清楚何时发生。从导数图像可知当 |x| 4~5 时σ(x) 已经非常接近0或1其导数 σ‘(x) 则小于0.02变得非常小。在深度网络中如果很多神经元的输入都落在这个区域那么连乘后的梯度就会指数级衰减权重更新几乎停滞。导数最大值σ‘(x) 的最大值是0.25这意味着在反向传播中每经过一个Sigmoid层梯度信号至少会衰减为原来的1/4当输入为0时。这是对梯度消失问题一个定量的理解。4.2 Sigmoid与类似函数求导的对比理解Sigmoid的求导后可以将其思路迁移到其他类似函数举一反三。Tanh函数tanh(x) (e^x - e^{-x}) / (e^x e^{-x})。其导数也可以通过类似化简得到tanh‘(x) 1 - tanh^2(x)。推导过程同样可以先求导再化简或者利用其与Sigmoid的关系 tanh(x) 2σ(2x) - 1 来推导。Tanh的导数范围是(0, 1]最大值为1当x0时缓解了Sigmoid梯度衰减过快的问题但其梯度消失问题依然存在。Softmax函数用于多分类其求导比Sigmoid复杂因为它的输出是向量且每个分量相互关联。对于第i个输出关于第j个输入的偏导 ∂S_i/∂z_j 当 ij 时为 S_i(1-S_j) 当 i≠j 时为 -S_i S_j。可以看到当 ij 时其形式与Sigmoid导数神似。理解Sigmoid求导是理解Softmax求导的良好基础。Logistic函数与Sigmoid通常两者混用。严格来说标准Logistic函数是Sigmoid函数的一种特例即我们推导的σ(x)。有时“Sigmoid”也指代任何S形函数。4.3 超越求导对模型设计的启示对Sigmoid函数求导的深入理解最终应反馈到我们的模型设计选择上。初始化的重要性由于Sigmoid在|z|较大时梯度饱和因此我们必须确保神经元的初始输入z即权重与输入的加权和不要过大或过小。这就是为什么在Sigmoid时代常采用Xavier初始化等方法旨在使每一层输出的方差保持一致尽可能让激活值落在梯度较大的区域。激活函数的选择正是由于Sigmoid/Tanh的梯度消失问题ReLU及其变种Leaky ReLU, PReLU, ELU成为了深度网络的主流选择。ReLU的导数在正区恒为1彻底解决了正区间的梯度消失问题且计算极其简单。残差连接ResNet的另一种视角残差网络中的跳跃连接Skip Connection创造了一条梯度可以直接回传的“高速公路”这可以看作是从结构上对抗梯度消失的一种手段即使网络中仍然使用了某些有饱和区的激活函数。所以手动推导Sigmoid求导远不止于记忆一个公式。它是一个窗口让我们窥见了激活函数、梯度流、初始化以及网络结构设计之间深刻的联系。下次当你轻敲键盘调用一行torch.sigmoid()时希望你的脑海中能清晰地浮现出那条优美的S形曲线以及它那如钟形般消散的梯度轨迹。知其然亦知其所以然这大概就是学习过程中最坚实的乐趣所在。
)
