期刊Transactions on Medical Imaging年份2025英文名字Semi-Supervised Knee Cartilage Segmentation With Successive Eigen Noise-Assisted Mean Teacher Knowledge Distillation中文译为基于连续特征噪声辅助 Mean Teacher 知识蒸馏的半监督膝关节软骨分割一、摘要膝骨关节炎的分析需要准确分割膝关节软骨但不同 MRI 扫描技术和序列之间存在明显的域偏移例如图像对比度、分辨率和噪声分布不同。现有跨模态方法通常依赖特征对齐或图像风格转换但容易丢失一些细小软骨类别的信息而且对高阶特征关系利用不足。因此作者提出SEN-MTKD 半监督知识蒸馏框架利用少量目标域标注数据和大量未标注数据实现不同 MRI 序列之间的跨域膝关节软骨分割。其核心包括ELRS利用低秩特征子空间提取域不变表示SEN利用较小奇异值构造特征噪声加强细小软骨类别LRBD约束 Teacher 和 Student 的低秩子空间结构保持一致从而提高跨模态知识蒸馏的可靠性。二、创新点创新一跨 MRI 序列的半监督 Mean Teacher 框架论文将Mean Teacher 知识蒸馏 子空间域适应结合起来。Teacher 在源域 MRI 上预训练而 Student 在只有少量标注的目标 MRI 序列上学习通过大量未标注数据完成跨模态适应。因此解决的是Source MRI→Target MRI之间的跨序列、非配对、少标注分割问题。创新二Eigen Low-Rank SubspaceELRS作者对 Teacher 和 Student 的中间特征进行SVD 分解保留主要奇异值重新构造低秩特征。这样能够去除部分冗余信息并将两个网络的特征映射到一个共同的domain-invariant eigen subspace缩小不同 MRI 序列之间的特征分布差异。创新三Successive Eigen NoiseSEN作者没有使用普通随机 Gaussian Noise而是利用 SVD 中较小奇异值对应的信息构造噪声。这些较小奇异值被认为包含更多难以区分的小软骨类别信息因此 SEN 可以增强少数类、小结构软骨的表示能力。同时上一 batch 产生的 SEN 会加入下一 batch 的 Student 输入因此称为Successive Eigen Noise。创新四Low-Rank Basis DistillationLRBD作者进一步设计低秩基蒸馏损失对齐 Teacher 和 Student 的低秩子空间结构而不是只要求最终预测一致。因此知识蒸馏由 Prediction Alignment进一步扩展到 Latent Subspace Structure Alignment可以减轻跨模态域偏移以及错误伪标签带来的影响。三、方法图2展示了用于半监督膝关节软骨分割SEN-MTKD的连续特征噪声辅助均值教师知识提取框架。教师模型产生域不变的伪标签学生模型可以从中学习。在师生框架内为教师和学生设计了一个低秩子空间模块通过域不变特征子空间中的特征低秩ELRS近似分别捕获高阶和低阶潜在模式。3.1 Mean Teacher 半监督框架整体采用Teacher ModelStudent ModelTeacher 和 Student 使用相同网络结构。Teacher 首先在具有完整标注的源域Domain A上进行训练随后在目标域Domain B上进行半监督学习其中只有5%–25% 数据具有标签其余数据没有标签。Teacher 为未标注图像产生 soft pseudo-labelStudent 同时学习有标签数据的监督信息Teacher 对未标注数据的预测Teacher 与 Student 的低秩特征关系。Teacher 参数则通过 Student 参数的 **EMAExponential Moving Average**不断更新。3.2 Eigen Low-Rank SubspaceELRSTeacher 和 Student 分别产生特征随后分别通过 SVD将特征分解为奇异向量和奇异值。作者选取前 k 个较大的奇异值重新构造,形成 Teacher 和 Student 的低秩特征表示。这样能够保留主要解剖结构信息并在较低维的公共子空间中对齐两个 MRI 域的特征。简单来说就是SVD → 提取主要结构特征 → 构建共享低秩空间 → 缩小 MRI 域差异。3.3 Successive Eigen NoiseSEN与 ELRS 使用最大的奇异值不同SEN 专门利用较小的奇异值。作者认为较大奇异值主要描述明显的大结构而较小奇异值中可能包含细小、难分辨的软骨类别信息。因此利用低能量奇异成分构造ξSEN并将上一批次产生的 SEN 加入下一批次 Student 输入相当于使用一种具有语义信息的数据扰动代替简单的随机 Gaussian Noise。其目标是增强少数类软骨的可区分性同时降低 Student 对 Teacher 的过拟合。3.4 Low-Rank Basis DistillationLRBDELRS 不仅能够得到低秩重构特征还能得到 Teacher 和 Student 对应的低秩基,LRBD 进一步计算两个低秩子空间之间的距离要求也就是说不仅要求 Teacher 和 Student 最终分割结果一致还要求它们学习到的潜在几何结构保持一致。这样可以提高跨 MRI 序列下的特征稳定性并降低错误 pseudo-label 对 Student 的影响。3.5 总体损失函数整个 SEN-MTKD 的损失由三部分组成其中监督分割损失由Focal Loss Weighted Dice Loss组成Teacher–Student 预测的一致性损失LlrsTeacher–Student 的低秩子空间蒸馏损失。Teacher 参数不直接反向传播而是通过 Student 参数进行 EMA 更新。因此整个训练过程可以概括成ELRS提取域不变结构SEN增强细小软骨LRBD对齐Teacher/Student五、结论论文最终证明SEN-MTKD 能够在少量目标域标注数据 大量未标注数据的条件下实现不同 MRI 序列之间的膝关节软骨分割。其核心思想是将 Teacher 和 Student 的特征映射到共同的低维特征子空间利用 ELRS 对齐跨域结构特征利用 SEN 从低奇异值中提取扰动信息增强少数软骨类别再通过 LRBD 保持 Teacher 和 Student 潜在结构的一致性。实验中在25% 目标域标注数据情况下方法取得约83.51% 的平均 Dice高于 Mean Teacher 基线的78.15%即使只有5% 标注数据也能够明显优于基线说明模型能够有效利用未标注数据。
期刊Transactions on Medical Imaging年份2025英文名字Semi-Supervised Knee Cartilage Segmentation With Successive Eigen Noise-Assisted Mean Teacher Knowledge Distillation中文译为基于连续特征噪声辅助 Mean Teacher 知识蒸馏的半监督膝关节软骨分割一、摘要膝骨关节炎的分析需要准确分割膝关节软骨但不同 MRI 扫描技术和序列之间存在明显的域偏移例如图像对比度、分辨率和噪声分布不同。现有跨模态方法通常依赖特征对齐或图像风格转换但容易丢失一些细小软骨类别的信息而且对高阶特征关系利用不足。因此作者提出SEN-MTKD 半监督知识蒸馏框架利用少量目标域标注数据和大量未标注数据实现不同 MRI 序列之间的跨域膝关节软骨分割。其核心包括ELRS利用低秩特征子空间提取域不变表示SEN利用较小奇异值构造特征噪声加强细小软骨类别LRBD约束 Teacher 和 Student 的低秩子空间结构保持一致从而提高跨模态知识蒸馏的可靠性。二、创新点创新一跨 MRI 序列的半监督 Mean Teacher 框架论文将Mean Teacher 知识蒸馏 子空间域适应结合起来。Teacher 在源域 MRI 上预训练而 Student 在只有少量标注的目标 MRI 序列上学习通过大量未标注数据完成跨模态适应。因此解决的是Source MRI→Target MRI之间的跨序列、非配对、少标注分割问题。创新二Eigen Low-Rank SubspaceELRS作者对 Teacher 和 Student 的中间特征进行SVD 分解保留主要奇异值重新构造低秩特征。这样能够去除部分冗余信息并将两个网络的特征映射到一个共同的domain-invariant eigen subspace缩小不同 MRI 序列之间的特征分布差异。创新三Successive Eigen NoiseSEN作者没有使用普通随机 Gaussian Noise而是利用 SVD 中较小奇异值对应的信息构造噪声。这些较小奇异值被认为包含更多难以区分的小软骨类别信息因此 SEN 可以增强少数类、小结构软骨的表示能力。同时上一 batch 产生的 SEN 会加入下一 batch 的 Student 输入因此称为Successive Eigen Noise。创新四Low-Rank Basis DistillationLRBD作者进一步设计低秩基蒸馏损失对齐 Teacher 和 Student 的低秩子空间结构而不是只要求最终预测一致。因此知识蒸馏由 Prediction Alignment进一步扩展到 Latent Subspace Structure Alignment可以减轻跨模态域偏移以及错误伪标签带来的影响。三、方法图2展示了用于半监督膝关节软骨分割SEN-MTKD的连续特征噪声辅助均值教师知识提取框架。教师模型产生域不变的伪标签学生模型可以从中学习。在师生框架内为教师和学生设计了一个低秩子空间模块通过域不变特征子空间中的特征低秩ELRS近似分别捕获高阶和低阶潜在模式。3.1 Mean Teacher 半监督框架整体采用Teacher ModelStudent ModelTeacher 和 Student 使用相同网络结构。Teacher 首先在具有完整标注的源域Domain A上进行训练随后在目标域Domain B上进行半监督学习其中只有5%–25% 数据具有标签其余数据没有标签。Teacher 为未标注图像产生 soft pseudo-labelStudent 同时学习有标签数据的监督信息Teacher 对未标注数据的预测Teacher 与 Student 的低秩特征关系。Teacher 参数则通过 Student 参数的 **EMAExponential Moving Average**不断更新。3.2 Eigen Low-Rank SubspaceELRSTeacher 和 Student 分别产生特征随后分别通过 SVD将特征分解为奇异向量和奇异值。作者选取前 k 个较大的奇异值重新构造,形成 Teacher 和 Student 的低秩特征表示。这样能够保留主要解剖结构信息并在较低维的公共子空间中对齐两个 MRI 域的特征。简单来说就是SVD → 提取主要结构特征 → 构建共享低秩空间 → 缩小 MRI 域差异。3.3 Successive Eigen NoiseSEN与 ELRS 使用最大的奇异值不同SEN 专门利用较小的奇异值。作者认为较大奇异值主要描述明显的大结构而较小奇异值中可能包含细小、难分辨的软骨类别信息。因此利用低能量奇异成分构造ξSEN并将上一批次产生的 SEN 加入下一批次 Student 输入相当于使用一种具有语义信息的数据扰动代替简单的随机 Gaussian Noise。其目标是增强少数类软骨的可区分性同时降低 Student 对 Teacher 的过拟合。3.4 Low-Rank Basis DistillationLRBDELRS 不仅能够得到低秩重构特征还能得到 Teacher 和 Student 对应的低秩基,LRBD 进一步计算两个低秩子空间之间的距离要求也就是说不仅要求 Teacher 和 Student 最终分割结果一致还要求它们学习到的潜在几何结构保持一致。这样可以提高跨 MRI 序列下的特征稳定性并降低错误 pseudo-label 对 Student 的影响。3.5 总体损失函数整个 SEN-MTKD 的损失由三部分组成其中监督分割损失由Focal Loss Weighted Dice Loss组成Teacher–Student 预测的一致性损失LlrsTeacher–Student 的低秩子空间蒸馏损失。Teacher 参数不直接反向传播而是通过 Student 参数进行 EMA 更新。因此整个训练过程可以概括成ELRS提取域不变结构SEN增强细小软骨LRBD对齐Teacher/Student五、结论论文最终证明SEN-MTKD 能够在少量目标域标注数据 大量未标注数据的条件下实现不同 MRI 序列之间的膝关节软骨分割。其核心思想是将 Teacher 和 Student 的特征映射到共同的低维特征子空间利用 ELRS 对齐跨域结构特征利用 SEN 从低奇异值中提取扰动信息增强少数软骨类别再通过 LRBD 保持 Teacher 和 Student 潜在结构的一致性。实验中在25% 目标域标注数据情况下方法取得约83.51% 的平均 Dice高于 Mean Teacher 基线的78.15%即使只有5% 标注数据也能够明显优于基线说明模型能够有效利用未标注数据。
