1. 矩阵迹从抽象符号到实用计算的桥梁在矩阵运算的世界里迹Trace是一个看似简单却极其强大的工具。它不像行列式那样决定矩阵是否可逆也不像特征值那样揭示变换的本质但它在理论推导和实际计算中扮演着不可或缺的“粘合剂”角色。简单来说一个方阵的迹就是其主对角线上所有元素的和。这个定义简单到几乎让人忽视但正是这种简洁性赋予了它一系列优美而实用的性质。无论是验证理论公式、简化复杂表达式还是在机器学习、量子力学、统计学等领域进行高效计算掌握迹的常用公式都像是掌握了一把万能钥匙。对于工程师、数据科学家和理论研究者而言熟练运用这些公式能让你在纷繁的矩阵运算中迅速抓住核心化繁为简。2. 迹的核心性质与基础公式拆解理解迹的公式首先要从它的线性性和循环置换性这两个基石开始。这些性质是推导所有高级公式的基础。2.1 线性性迹运算的“好脾气”迹是一个线性算子。这意味着对于任意两个同阶方阵A和B以及任意标量c以下等式恒成立tr(A B) tr(A) tr(B)tr(cA) c · tr(A)这个性质使得迹运算可以自由地穿过加法和数乘为拆分复杂表达式提供了极大便利。例如在计算一个由多个矩阵线性组合构成的表达式的迹时我们可以直接对每个部分分别求迹后再进行加减和缩放而不必先进行矩阵加法再求迹。注意线性性仅针对加法和数乘。迹的运算优先级低于矩阵乘法即tr(AB)不等于tr(A)tr(B)这是一个常见的误区。2.2 循环置换性迹最神奇的“魔法”这是迹运算中最重要、最常用的性质没有之一。对于多个矩阵的乘积只要乘积本身是一个方阵从而迹有定义那么乘积中矩阵的顺序可以进行循环置换而迹保持不变。公式tr(ABC) tr(BCA) tr(CAB)这个性质可以推广到任意多个矩阵的乘积tr(A₁A₂...Aₙ) tr(A₂...AₙA₁) ... tr(AₙA₁...Aₙ₋₁)。为什么这个性质如此强大化简计算有时通过循环置换可以将难以直接计算的乘积形式变成易于计算的形式。例如tr(AB)虽然不等于tr(A)tr(B)但如果你有矩阵B的逆或者一个特殊的矩阵循环置换可能创造出I单位矩阵或对角矩阵从而简化计算。理论推导的关键在证明许多矩阵恒等式时循环置换性是核心工具。它允许我们将矩阵“移动”到更有利的位置。与矩阵乘法不可交换性的共舞矩阵乘法本身不可交换AB ≠ BA但迹在循环意义下“无视”了这种不可交换性这为解决很多问题提供了独特视角。实操示例假设我们需要计算tr(XᵀX)其中X是一个m×n矩阵。XᵀX是一个n×n的方阵。直接计算需要先做矩阵乘法再求和计算量为O(mn²)。但利用迹的循环置换性我们有tr(XᵀX) tr(XXᵀ)。 注意XXᵀ是一个m×m的方阵。当n m即特征维度远大于样本数时计算XXᵀ的迹要比计算XᵀX的迹在计算量上小得多O(m²n)vsO(mn²)。这是机器学习中核技巧Kernel Trick的数学基础之一。3. 高阶实用公式推导与应用场景基于线性和循环置换性我们可以推导出一系列在工程和科研中高频使用的公式。3.1 标量方程的迹技巧当等式中出现标量时一个常用技巧是一个标量的迹等于它自身即对于标量a有tr(a) a。因为标量可以看作一个1×1的矩阵。这个技巧常用于将标量表达式转化为迹的形式从而利用迹的性质进行推导。例如在最小二乘问题中损失函数L(w) ||y - Xw||²是一个标量。我们可以将其写为L(w) (y - Xw)ᵀ(y - Xw)由于结果是一个标量我们可以对其取迹而不改变其值L(w) tr[(y - Xw)ᵀ(y - Xw)]接下来就可以利用迹的循环置换等性质对w求梯度推导出正规方程Normal Equation。3.2 矩阵乘积迹的常用变换内积形式tr(AᵀB)。这是一个极其重要的形式它定义了矩阵空间上的一个内积Frobenius内积。||A||_F² tr(AᵀA)即矩阵A的Frobenius范数的平方等于AᵀA的迹。在优化问题中正则化项常使用Frobenius范数。二次型与迹对于列向量x和方阵A二次型xᵀAx是一个标量。因此有xᵀAx tr(xᵀAx) tr(Axxᵀ)最后一个等号用到了循环置换性。这个变换在统计学协方差矩阵计算、信号处理等领域非常常见。两个矩阵乘积的迹tr(AB) tr(BA)。这是循环置换性在双矩阵情况下的特例。但需要注意的是这要求AB和BA都是方阵。如果A是m×n矩阵B是n×m矩阵那么AB是m×m方阵BA是n×n方阵此时tr(AB) tr(BA)仍然成立。这个性质是验证和推导很多公式的利器。3.3 与特征值、行列式的关系迹与矩阵的特征值有着深刻的联系一个方阵的迹等于其所有特征值包括重根之和。tr(A) Σ_i λ_i其中λ_i是矩阵A的特征值。这个公式的价值在于快速估算特征值和对于大型矩阵直接计算所有特征值可能计算量巨大但计算迹对角线和是O(n)的复杂度。理论证明在许多涉及特征值的定理证明中通过迹来建立关系是标准操作。与行列式的关联矩阵的行列式等于所有特征值的乘积。迹和行列式是特征值两个最基本的对称多项式。在判断矩阵性质如正定性时它们提供了一些必要条件如正定矩阵的迹和行列式都大于0。实操心得在调试涉及特征值的代码时计算矩阵的迹和特征值之和是否相等是一个快速验证特征值计算是否正确有效的“ sanity check ”完整性检查。4. 复杂场景下的公式综合应用与推导在实际项目中我们很少单独使用一个公式往往是多个公式和技巧的串联。下面通过两个典型场景来演示如何综合运用。4.1 场景一推导多元线性回归的正规方程假设我们有数据集(X, y)线性模型为y Xβ ε其中X是n×p的设计矩阵已包含截距项y是n×1的响应向量β是p×1的待估参数向量。最小二乘法的目标是最小化残差平方和RSSRSS(β) (y - Xβ)ᵀ(y - Xβ)推导步骤将标量RSS写为迹的形式RSS(β) tr[(y - Xβ)ᵀ(y - Xβ)]。展开RSS(β) tr(yᵀy - yᵀXβ - βᵀXᵀy βᵀXᵀXβ)。利用迹的线性性RSS(β) tr(yᵀy) - tr(yᵀXβ) - tr(βᵀXᵀy) tr(βᵀXᵀXβ)。利用循环置换性简化每一项tr(yᵀXβ) tr(βyᵀX)因为yᵀXβ是标量其迹等于自身但这里我们保持形式一致。更直接地yᵀXβ是标量其迹就是自身且yᵀXβ (yᵀXβ)ᵀ βᵀXᵀy。所以第二项和第三项实际上是相等的标量。实际上注意到yᵀXβ是一个标量1×1矩阵所以tr(yᵀXβ) yᵀXβ。同理tr(βᵀXᵀy) βᵀXᵀy。而yᵀXβ和βᵀXᵀy是互为转置的标量因此相等。设s yᵀXβ则第二、三项之和为-2s。tr(βᵀXᵀXβ) tr(XᵀXββᵀ)不对这里要小心。βᵀXᵀXβ是标量其迹等于自身。为了求导方便我们也可以利用循环置换写成tr(ββᵀXᵀX)因为ββᵀ是一个p×p的矩阵。更高效的方法是直接对RSS(β) (y - Xβ)ᵀ(y - Xβ)这个标量形式对向量β求导。利用矩阵微分法则d(RSS)/dβ -2Xᵀ(y - Xβ)令导数为零得到正规方程XᵀXβ Xᵀy。 在这个过程中虽然最终没有显式地大量使用迹公式但理解(y - Xβ)ᵀ(y - Xβ)可以转化为tr[...]是理解矩阵微分起点的一种方式。许多矩阵微分规则本身就用到了迹的运算性质如d(tr(XᵀX)) 2tr(Xᵀ dX)。4.2 场景二协方差矩阵的迹与总方差在多元统计学中对于一个n×p的数据矩阵Xn个样本p个特征样本协方差矩阵S定义为S (1/(n-1)) (X - X_mean)ᵀ (X - X_mean)其中X_mean是各特征均值组成的矩阵。协方差矩阵S的对角线元素S_{ii}就是第i个特征的方差。因此协方差矩阵的迹tr(S)等于所有特征的方差之和有时被称为“总方差”。应用主成分分析PCAPCA的目标是找到新的坐标轴主成分使得数据在这些轴上的方差最大。第k个主成分的方差等于协方差矩阵S的第k个特征值λ_k。所有主成分的方差之和等于所有特征值之和也就是tr(S)。因此前m个主成分的方差贡献率可以清晰地表示为贡献率 (λ₁ λ₂ ... λ_m) / tr(S)这比用原始特征方差之和计算直观得多也证明了PCA在保留数据变异信息方面的能力。降维评估tr(S)作为一个标量总和为衡量降维前后信息损失提供了一个基准。5. 常见“踩坑点”与公式使用误区排查即使理解了公式在实际使用中也可能出错。下面是一些常见问题及排查思路。5.1 误区忽视矩阵维度的兼容性问题盲目使用tr(AB) tr(BA)而未检查AB和BA是否至少有一个是方阵从而迹有定义。案例设A为 3×2 矩阵B为 2×4 矩阵。则AB是 3×4 矩阵不是方阵无迹BA是 2×2 矩阵是方阵有迹。此时等式tr(AB) tr(BA)根本不成立因为左边tr(AB)本身就没有定义。排查技巧在使用任何迹的公式前先确认参与运算的最终矩阵通常是乘积是否是方阵。对于tr(A₁A₂...Aₙ)确保第一个矩阵的列数等于第二个矩阵的行数...最后一个矩阵的列数等于第一个矩阵的行数这样最终结果才是方阵。5.2 误区混淆迹与行列式的性质问题错误地认为tr(AB) tr(A)tr(B)或tr(AB) tr(A) tr(B)是唯一性质而忽略了更强大的循环置换性。或者将行列式的性质det(AB) det(A)det(B)错误地套用到迹上。案例有人可能试图计算tr(ABC)时将其拆为tr(A)tr(B)tr(C)这是完全错误的。纠正时刻牢记迹的核心性质是线性性和循环置换性。行列式有乘法公式但迹没有。当遇到复杂乘积时第一反应应是尝试循环置换看是否能化简为已知形式或与已知矩阵如单位阵结合。5.3 实操中的数值计算问题问题在数值计算中特别是涉及大型矩阵或迭代算法时由于浮点数精度问题理论上相等的迹可能计算出微小差异。案例在机器学习中训练模型理论上损失函数应单调下降。但你可能发现用两种等价但计算顺序不同的方式利用迹的循环置换计算出的梯度或损失值在迭代后期有 10⁻¹² 量级的差异。解决方案设置合理的容差在判断两个迹值是否相等时使用如np.allclose(tr1, tr2, rtol1e-10, atol1e-12)这样的函数而不是直接。稳定计算顺序在关键算法中固定一种计算形式避免因计算顺序不同而引入不必要的数值噪声。利用迹简化计算但注意精度例如计算tr(XᵀX)时如果X是瘦高矩阵样本多特征少应使用np.sum(X**2)逐元素平方再求和这等价于tr(XᵀX)但数值上更稳定避免了显式的矩阵乘法XᵀX。相反如果是矮胖矩阵则利用tr(XᵀX) tr(XXᵀ)的特性计算更小的那个矩阵的迹。5.4 公式记忆与推导混乱问题试图死记硬背所有衍生公式而不是掌握核心性质和推导方法。建议只需牢记以下三点绝大多数公式都可以现场快速推导定义tr(A) Σ A_{ii}。线性性tr(AB) tr(A)tr(B),tr(cA)c·tr(A)。循环置换性tr(ABC) tr(BCA) tr(CAB)。当遇到一个复杂的迹表达式时尝试如果是线性组合直接拆开。如果是矩阵乘积尝试循环置换看能否出现AᵀA、xxᵀ或与已知矩阵如单位阵I相乘的形式。如果表达式整体是标量考虑是否可以将其写为迹的形式从而引入迹的工具箱。我个人在长期使用中的体会是矩阵的迹就像一条隐形的线把矩阵代数中许多分散的点串联起来。它不如特征值分解或奇异值分解那样光芒四射但它的简洁和高效在幕后支撑着大量计算。当你下次再看到一堆矩阵相乘再求和时不妨想一想“能不能取个迹” 这个简单的念头往往就是打开简化之门的第一步。最后分享一个小技巧在Python的NumPy中直接用np.trace()计算迹非常方便但对于大型矩阵的tr(AᵀB)这种Frobenius内积使用np.sum(A * B)当A和B同形或np.einsum(‘ij,ij-’, A, B)通常更快因为它避免了显式的转置和完整的矩阵乘法直接进行元素级操作后求和这在深度学习的梯度计算中尤为有用。
1. 矩阵迹从抽象符号到实用计算的桥梁在矩阵运算的世界里迹Trace是一个看似简单却极其强大的工具。它不像行列式那样决定矩阵是否可逆也不像特征值那样揭示变换的本质但它在理论推导和实际计算中扮演着不可或缺的“粘合剂”角色。简单来说一个方阵的迹就是其主对角线上所有元素的和。这个定义简单到几乎让人忽视但正是这种简洁性赋予了它一系列优美而实用的性质。无论是验证理论公式、简化复杂表达式还是在机器学习、量子力学、统计学等领域进行高效计算掌握迹的常用公式都像是掌握了一把万能钥匙。对于工程师、数据科学家和理论研究者而言熟练运用这些公式能让你在纷繁的矩阵运算中迅速抓住核心化繁为简。2. 迹的核心性质与基础公式拆解理解迹的公式首先要从它的线性性和循环置换性这两个基石开始。这些性质是推导所有高级公式的基础。2.1 线性性迹运算的“好脾气”迹是一个线性算子。这意味着对于任意两个同阶方阵A和B以及任意标量c以下等式恒成立tr(A B) tr(A) tr(B)tr(cA) c · tr(A)这个性质使得迹运算可以自由地穿过加法和数乘为拆分复杂表达式提供了极大便利。例如在计算一个由多个矩阵线性组合构成的表达式的迹时我们可以直接对每个部分分别求迹后再进行加减和缩放而不必先进行矩阵加法再求迹。注意线性性仅针对加法和数乘。迹的运算优先级低于矩阵乘法即tr(AB)不等于tr(A)tr(B)这是一个常见的误区。2.2 循环置换性迹最神奇的“魔法”这是迹运算中最重要、最常用的性质没有之一。对于多个矩阵的乘积只要乘积本身是一个方阵从而迹有定义那么乘积中矩阵的顺序可以进行循环置换而迹保持不变。公式tr(ABC) tr(BCA) tr(CAB)这个性质可以推广到任意多个矩阵的乘积tr(A₁A₂...Aₙ) tr(A₂...AₙA₁) ... tr(AₙA₁...Aₙ₋₁)。为什么这个性质如此强大化简计算有时通过循环置换可以将难以直接计算的乘积形式变成易于计算的形式。例如tr(AB)虽然不等于tr(A)tr(B)但如果你有矩阵B的逆或者一个特殊的矩阵循环置换可能创造出I单位矩阵或对角矩阵从而简化计算。理论推导的关键在证明许多矩阵恒等式时循环置换性是核心工具。它允许我们将矩阵“移动”到更有利的位置。与矩阵乘法不可交换性的共舞矩阵乘法本身不可交换AB ≠ BA但迹在循环意义下“无视”了这种不可交换性这为解决很多问题提供了独特视角。实操示例假设我们需要计算tr(XᵀX)其中X是一个m×n矩阵。XᵀX是一个n×n的方阵。直接计算需要先做矩阵乘法再求和计算量为O(mn²)。但利用迹的循环置换性我们有tr(XᵀX) tr(XXᵀ)。 注意XXᵀ是一个m×m的方阵。当n m即特征维度远大于样本数时计算XXᵀ的迹要比计算XᵀX的迹在计算量上小得多O(m²n)vsO(mn²)。这是机器学习中核技巧Kernel Trick的数学基础之一。3. 高阶实用公式推导与应用场景基于线性和循环置换性我们可以推导出一系列在工程和科研中高频使用的公式。3.1 标量方程的迹技巧当等式中出现标量时一个常用技巧是一个标量的迹等于它自身即对于标量a有tr(a) a。因为标量可以看作一个1×1的矩阵。这个技巧常用于将标量表达式转化为迹的形式从而利用迹的性质进行推导。例如在最小二乘问题中损失函数L(w) ||y - Xw||²是一个标量。我们可以将其写为L(w) (y - Xw)ᵀ(y - Xw)由于结果是一个标量我们可以对其取迹而不改变其值L(w) tr[(y - Xw)ᵀ(y - Xw)]接下来就可以利用迹的循环置换等性质对w求梯度推导出正规方程Normal Equation。3.2 矩阵乘积迹的常用变换内积形式tr(AᵀB)。这是一个极其重要的形式它定义了矩阵空间上的一个内积Frobenius内积。||A||_F² tr(AᵀA)即矩阵A的Frobenius范数的平方等于AᵀA的迹。在优化问题中正则化项常使用Frobenius范数。二次型与迹对于列向量x和方阵A二次型xᵀAx是一个标量。因此有xᵀAx tr(xᵀAx) tr(Axxᵀ)最后一个等号用到了循环置换性。这个变换在统计学协方差矩阵计算、信号处理等领域非常常见。两个矩阵乘积的迹tr(AB) tr(BA)。这是循环置换性在双矩阵情况下的特例。但需要注意的是这要求AB和BA都是方阵。如果A是m×n矩阵B是n×m矩阵那么AB是m×m方阵BA是n×n方阵此时tr(AB) tr(BA)仍然成立。这个性质是验证和推导很多公式的利器。3.3 与特征值、行列式的关系迹与矩阵的特征值有着深刻的联系一个方阵的迹等于其所有特征值包括重根之和。tr(A) Σ_i λ_i其中λ_i是矩阵A的特征值。这个公式的价值在于快速估算特征值和对于大型矩阵直接计算所有特征值可能计算量巨大但计算迹对角线和是O(n)的复杂度。理论证明在许多涉及特征值的定理证明中通过迹来建立关系是标准操作。与行列式的关联矩阵的行列式等于所有特征值的乘积。迹和行列式是特征值两个最基本的对称多项式。在判断矩阵性质如正定性时它们提供了一些必要条件如正定矩阵的迹和行列式都大于0。实操心得在调试涉及特征值的代码时计算矩阵的迹和特征值之和是否相等是一个快速验证特征值计算是否正确有效的“ sanity check ”完整性检查。4. 复杂场景下的公式综合应用与推导在实际项目中我们很少单独使用一个公式往往是多个公式和技巧的串联。下面通过两个典型场景来演示如何综合运用。4.1 场景一推导多元线性回归的正规方程假设我们有数据集(X, y)线性模型为y Xβ ε其中X是n×p的设计矩阵已包含截距项y是n×1的响应向量β是p×1的待估参数向量。最小二乘法的目标是最小化残差平方和RSSRSS(β) (y - Xβ)ᵀ(y - Xβ)推导步骤将标量RSS写为迹的形式RSS(β) tr[(y - Xβ)ᵀ(y - Xβ)]。展开RSS(β) tr(yᵀy - yᵀXβ - βᵀXᵀy βᵀXᵀXβ)。利用迹的线性性RSS(β) tr(yᵀy) - tr(yᵀXβ) - tr(βᵀXᵀy) tr(βᵀXᵀXβ)。利用循环置换性简化每一项tr(yᵀXβ) tr(βyᵀX)因为yᵀXβ是标量其迹等于自身但这里我们保持形式一致。更直接地yᵀXβ是标量其迹就是自身且yᵀXβ (yᵀXβ)ᵀ βᵀXᵀy。所以第二项和第三项实际上是相等的标量。实际上注意到yᵀXβ是一个标量1×1矩阵所以tr(yᵀXβ) yᵀXβ。同理tr(βᵀXᵀy) βᵀXᵀy。而yᵀXβ和βᵀXᵀy是互为转置的标量因此相等。设s yᵀXβ则第二、三项之和为-2s。tr(βᵀXᵀXβ) tr(XᵀXββᵀ)不对这里要小心。βᵀXᵀXβ是标量其迹等于自身。为了求导方便我们也可以利用循环置换写成tr(ββᵀXᵀX)因为ββᵀ是一个p×p的矩阵。更高效的方法是直接对RSS(β) (y - Xβ)ᵀ(y - Xβ)这个标量形式对向量β求导。利用矩阵微分法则d(RSS)/dβ -2Xᵀ(y - Xβ)令导数为零得到正规方程XᵀXβ Xᵀy。 在这个过程中虽然最终没有显式地大量使用迹公式但理解(y - Xβ)ᵀ(y - Xβ)可以转化为tr[...]是理解矩阵微分起点的一种方式。许多矩阵微分规则本身就用到了迹的运算性质如d(tr(XᵀX)) 2tr(Xᵀ dX)。4.2 场景二协方差矩阵的迹与总方差在多元统计学中对于一个n×p的数据矩阵Xn个样本p个特征样本协方差矩阵S定义为S (1/(n-1)) (X - X_mean)ᵀ (X - X_mean)其中X_mean是各特征均值组成的矩阵。协方差矩阵S的对角线元素S_{ii}就是第i个特征的方差。因此协方差矩阵的迹tr(S)等于所有特征的方差之和有时被称为“总方差”。应用主成分分析PCAPCA的目标是找到新的坐标轴主成分使得数据在这些轴上的方差最大。第k个主成分的方差等于协方差矩阵S的第k个特征值λ_k。所有主成分的方差之和等于所有特征值之和也就是tr(S)。因此前m个主成分的方差贡献率可以清晰地表示为贡献率 (λ₁ λ₂ ... λ_m) / tr(S)这比用原始特征方差之和计算直观得多也证明了PCA在保留数据变异信息方面的能力。降维评估tr(S)作为一个标量总和为衡量降维前后信息损失提供了一个基准。5. 常见“踩坑点”与公式使用误区排查即使理解了公式在实际使用中也可能出错。下面是一些常见问题及排查思路。5.1 误区忽视矩阵维度的兼容性问题盲目使用tr(AB) tr(BA)而未检查AB和BA是否至少有一个是方阵从而迹有定义。案例设A为 3×2 矩阵B为 2×4 矩阵。则AB是 3×4 矩阵不是方阵无迹BA是 2×2 矩阵是方阵有迹。此时等式tr(AB) tr(BA)根本不成立因为左边tr(AB)本身就没有定义。排查技巧在使用任何迹的公式前先确认参与运算的最终矩阵通常是乘积是否是方阵。对于tr(A₁A₂...Aₙ)确保第一个矩阵的列数等于第二个矩阵的行数...最后一个矩阵的列数等于第一个矩阵的行数这样最终结果才是方阵。5.2 误区混淆迹与行列式的性质问题错误地认为tr(AB) tr(A)tr(B)或tr(AB) tr(A) tr(B)是唯一性质而忽略了更强大的循环置换性。或者将行列式的性质det(AB) det(A)det(B)错误地套用到迹上。案例有人可能试图计算tr(ABC)时将其拆为tr(A)tr(B)tr(C)这是完全错误的。纠正时刻牢记迹的核心性质是线性性和循环置换性。行列式有乘法公式但迹没有。当遇到复杂乘积时第一反应应是尝试循环置换看是否能化简为已知形式或与已知矩阵如单位阵结合。5.3 实操中的数值计算问题问题在数值计算中特别是涉及大型矩阵或迭代算法时由于浮点数精度问题理论上相等的迹可能计算出微小差异。案例在机器学习中训练模型理论上损失函数应单调下降。但你可能发现用两种等价但计算顺序不同的方式利用迹的循环置换计算出的梯度或损失值在迭代后期有 10⁻¹² 量级的差异。解决方案设置合理的容差在判断两个迹值是否相等时使用如np.allclose(tr1, tr2, rtol1e-10, atol1e-12)这样的函数而不是直接。稳定计算顺序在关键算法中固定一种计算形式避免因计算顺序不同而引入不必要的数值噪声。利用迹简化计算但注意精度例如计算tr(XᵀX)时如果X是瘦高矩阵样本多特征少应使用np.sum(X**2)逐元素平方再求和这等价于tr(XᵀX)但数值上更稳定避免了显式的矩阵乘法XᵀX。相反如果是矮胖矩阵则利用tr(XᵀX) tr(XXᵀ)的特性计算更小的那个矩阵的迹。5.4 公式记忆与推导混乱问题试图死记硬背所有衍生公式而不是掌握核心性质和推导方法。建议只需牢记以下三点绝大多数公式都可以现场快速推导定义tr(A) Σ A_{ii}。线性性tr(AB) tr(A)tr(B),tr(cA)c·tr(A)。循环置换性tr(ABC) tr(BCA) tr(CAB)。当遇到一个复杂的迹表达式时尝试如果是线性组合直接拆开。如果是矩阵乘积尝试循环置换看能否出现AᵀA、xxᵀ或与已知矩阵如单位阵I相乘的形式。如果表达式整体是标量考虑是否可以将其写为迹的形式从而引入迹的工具箱。我个人在长期使用中的体会是矩阵的迹就像一条隐形的线把矩阵代数中许多分散的点串联起来。它不如特征值分解或奇异值分解那样光芒四射但它的简洁和高效在幕后支撑着大量计算。当你下次再看到一堆矩阵相乘再求和时不妨想一想“能不能取个迹” 这个简单的念头往往就是打开简化之门的第一步。最后分享一个小技巧在Python的NumPy中直接用np.trace()计算迹非常方便但对于大型矩阵的tr(AᵀB)这种Frobenius内积使用np.sum(A * B)当A和B同形或np.einsum(‘ij,ij-’, A, B)通常更快因为它避免了显式的转置和完整的矩阵乘法直接进行元素级操作后求和这在深度学习的梯度计算中尤为有用。
原理、部署与启明星辰实践指南)
)
