期刊Medical Image Analysis,年份2024英文题目Automated anomaly-aware 3D segmentation of bones and cartilages in knee MR images from the Osteoarthritis Initiative中文译为面向骨关节炎计划膝关节MRI的自动异常感知三维骨与软骨分割一、摘要医学影像中的多组织自动分割本身就比较困难当解剖结构内部还存在下面的问题时普通CNN更容易出现错误bone marrow lesion骨髓病变 Bone Marrow LesionBMLbone cyst骨囊肿osteophyte等OA相关异常例如正常情况下股骨内部MRI信号比较规律但如果出现较大的BML普通U-Net可能把异常区域错误地识别成骨外组织空洞错误边界从而导致骨体积出现缺口。因此作者提出一个三阶段框架异常检测→异常重建→异常感知分割首先利用3D U-Net进行Inpainting即图像修复/填补。网络尝试把股骨和胫骨内部异常区域重建成“接近正常”的外观。然后比较 Original MRI和 Reconstructed MRI之间的差异差异越大的地方就越可能是骨异常区域。得到异常图以后再将异常图作为额外信息送入三维骨和软骨分割网络。作者分别在3D U-Net3D CAN两类不同分割网络上验证该机制。结果表明异常感知模型能够明显改善存在严重骨异常病例的分割质量尤其是Hausdorff Distance最高可以减少约58%同时在骨异常检测中AUC最高达到0.896高于普通异常无感知模型的最高0.874。二、创新点创新点一将3D Inpainting用于膝关节MRI无监督异常检测以前很多异常检测方法采用Autoencoder或Imagereconstruction的思路正常图像容易重建而异常区域难以重建因此重建误差可以反映异常。本文进一步把这种思想扩展到Fully 3D knee MRI而不是只处理二维切片。作者使用3D U-Net进行大区域三维inpainting Masked 3D Knee MRI→3D U-Net→Reconstructed MRI然后Reconstruction ErrorOriginal−Reconstructed作为异常检测依据。值得注意的是骨异常本身不需要人工标注来训练第一阶段异常检测模型。因此这一部分属于一种unsupervised anomaly detection。创新点二设计两级异常检测网络 G 和 A作者没有只训练一个重建网络而是设计了G和A两个模型。网络 G需要已知骨分割mask。首先Original MRI↓把股骨和胫骨区域擦除↓Masked MRI↓3D U-Net G↓重建被擦除区域。因为异常区域被擦掉以后网络主要根据周围正常解剖结构推断“这里正常情况下应该长什么样”。网络 A实际应用时我们往往没有现成的骨分割mask。所以作者又训练直接输入Original MRI而以G(x)的输出作为监督目标。最终让 A(x)≈G(x)。于是测试阶段只需要原始MRI就能够生成去除异常后的近似正常MRI。然后就是最终使用的异常图。这一设计使异常检测真正可以应用到未知患者。创新点三把异常图显式加入3D分割网络这是整篇论文最核心的Anomaly-aware mechanism。普通模型输入只有MRI而本文模型输入 MRIAnomaly Error Map异常图告诉分割网络“这些位置可能存在病变是比较困难的区域需要特别关注。”同时作者不仅把异常图作为网络输入还把它用于Loss weighting使异常区域的分类错误具有更大的损失。因此是双重利用异常信息 Input−level GuidanceLoss−level Guidance这比单纯在输入端拼接一张异常图更加完整。创新点四证明异常感知机制可推广到不同CNN作者没有只用一种网络证明方法有效。而是分别加入3D U-Net和3D CAN最终得到UNET−S和CAN−S。两种网络结构差别很大U-Net依赖encoder-decoder和多次下采样CAN主要依赖dilated convolution进行context aggregation。两类网络加入异常感知机制以后都得到明显改善。因此作者认为Anomaly-aware并不是针对某个特定backbone设计而是一种可以附加到不同医学分割CNN上的通用机制。三、方法该方法包含三个部分需要mask的异常检测网络G、不需要mask的异常检测网络A、异常感知骨与软骨分割。3.1 基于Mask的异常检测网络 G首先使用已有femoral bone和tibial bone分割mask。为了确保骨边界骨周围区域也被覆盖作者把mask向各个方向dilate 50 pixels。然后把这些区域从MRI中擦除。再将mask掉的图像输入3D U-Net执行Image Inpainting。如果直接把一大片股骨和胫骨全部遮掉网络仅靠外围信息很难准确恢复。所以作者增加一个Image Compressor C把完整原始MRI进行非常强的压缩。然后送入网络G的decoder。因此网络同时拥有Masked MRI提供的局部空间结构Compressor提供的低容量全局信息。网络G的监督目标仍然是Original MRI。也就是原始图像和重建图像采用MSE Loss。训练以后正常结构 Original≈Reconstruction但异常结构 OriginalReconstruction。于是得到异常误差图。误差高的位置可能对应BMLcystosteophyte等。3.2 无需Mask的异常检测网络 A但真实临床中新患者刚进来时没有分割结果。所以作者再训练一个A它的输入直接是Original MRI而目标是G(x)。损失第一项要求 A(x)生成类似G的“去异常”MRI。第二项进一步要求A产生与G相似的异常误差分布。于是测试时MRI→A→Reconstruction再MRI−Reconstruction得到Anomaly Map。这个时候已经完全不需要人工mask。3.3 异常感知骨与软骨分割接下来才进入真正的Segmentation Network S。普通分割MRI→CNN→Segmentation本文则变成MRIAnomaly Error Map→Segmentation Network→Bone/Cartilage Masks作者构建UNET-S3D U−NetDeep SupervisionAnomaly−aware以及CAN-S 3D CANDeep SupervisionAnomaly−aware。Deep Supervision的意思是不只是最终输出层计算分割而是在网络内部多个尺度产生辅助segmentation map进行监督。这样可以加快收敛稳定深层网络训练对小样本、新类别尤其有帮助。四、结论本文提出一种异常感知膝关节MRI三维分割框架首先利用3D U-Net的inpainting和有损重建生成近似正常MRI并通过原图与重建图的差异无监督定位骨髓病变和骨囊肿等异常随后将异常误差图作为额外输入并用于加权分割损失使3D U-Net或3D CAN重点关注异常附近的困难区域从而减少OA患者骨与软骨分割中的严重边界错误并进一步实现股骨、胫骨、髌骨及其软骨和骨病灶的联合分割。
期刊Medical Image Analysis,年份2024英文题目Automated anomaly-aware 3D segmentation of bones and cartilages in knee MR images from the Osteoarthritis Initiative中文译为面向骨关节炎计划膝关节MRI的自动异常感知三维骨与软骨分割一、摘要医学影像中的多组织自动分割本身就比较困难当解剖结构内部还存在下面的问题时普通CNN更容易出现错误bone marrow lesion骨髓病变 Bone Marrow LesionBMLbone cyst骨囊肿osteophyte等OA相关异常例如正常情况下股骨内部MRI信号比较规律但如果出现较大的BML普通U-Net可能把异常区域错误地识别成骨外组织空洞错误边界从而导致骨体积出现缺口。因此作者提出一个三阶段框架异常检测→异常重建→异常感知分割首先利用3D U-Net进行Inpainting即图像修复/填补。网络尝试把股骨和胫骨内部异常区域重建成“接近正常”的外观。然后比较 Original MRI和 Reconstructed MRI之间的差异差异越大的地方就越可能是骨异常区域。得到异常图以后再将异常图作为额外信息送入三维骨和软骨分割网络。作者分别在3D U-Net3D CAN两类不同分割网络上验证该机制。结果表明异常感知模型能够明显改善存在严重骨异常病例的分割质量尤其是Hausdorff Distance最高可以减少约58%同时在骨异常检测中AUC最高达到0.896高于普通异常无感知模型的最高0.874。二、创新点创新点一将3D Inpainting用于膝关节MRI无监督异常检测以前很多异常检测方法采用Autoencoder或Imagereconstruction的思路正常图像容易重建而异常区域难以重建因此重建误差可以反映异常。本文进一步把这种思想扩展到Fully 3D knee MRI而不是只处理二维切片。作者使用3D U-Net进行大区域三维inpainting Masked 3D Knee MRI→3D U-Net→Reconstructed MRI然后Reconstruction ErrorOriginal−Reconstructed作为异常检测依据。值得注意的是骨异常本身不需要人工标注来训练第一阶段异常检测模型。因此这一部分属于一种unsupervised anomaly detection。创新点二设计两级异常检测网络 G 和 A作者没有只训练一个重建网络而是设计了G和A两个模型。网络 G需要已知骨分割mask。首先Original MRI↓把股骨和胫骨区域擦除↓Masked MRI↓3D U-Net G↓重建被擦除区域。因为异常区域被擦掉以后网络主要根据周围正常解剖结构推断“这里正常情况下应该长什么样”。网络 A实际应用时我们往往没有现成的骨分割mask。所以作者又训练直接输入Original MRI而以G(x)的输出作为监督目标。最终让 A(x)≈G(x)。于是测试阶段只需要原始MRI就能够生成去除异常后的近似正常MRI。然后就是最终使用的异常图。这一设计使异常检测真正可以应用到未知患者。创新点三把异常图显式加入3D分割网络这是整篇论文最核心的Anomaly-aware mechanism。普通模型输入只有MRI而本文模型输入 MRIAnomaly Error Map异常图告诉分割网络“这些位置可能存在病变是比较困难的区域需要特别关注。”同时作者不仅把异常图作为网络输入还把它用于Loss weighting使异常区域的分类错误具有更大的损失。因此是双重利用异常信息 Input−level GuidanceLoss−level Guidance这比单纯在输入端拼接一张异常图更加完整。创新点四证明异常感知机制可推广到不同CNN作者没有只用一种网络证明方法有效。而是分别加入3D U-Net和3D CAN最终得到UNET−S和CAN−S。两种网络结构差别很大U-Net依赖encoder-decoder和多次下采样CAN主要依赖dilated convolution进行context aggregation。两类网络加入异常感知机制以后都得到明显改善。因此作者认为Anomaly-aware并不是针对某个特定backbone设计而是一种可以附加到不同医学分割CNN上的通用机制。三、方法该方法包含三个部分需要mask的异常检测网络G、不需要mask的异常检测网络A、异常感知骨与软骨分割。3.1 基于Mask的异常检测网络 G首先使用已有femoral bone和tibial bone分割mask。为了确保骨边界骨周围区域也被覆盖作者把mask向各个方向dilate 50 pixels。然后把这些区域从MRI中擦除。再将mask掉的图像输入3D U-Net执行Image Inpainting。如果直接把一大片股骨和胫骨全部遮掉网络仅靠外围信息很难准确恢复。所以作者增加一个Image Compressor C把完整原始MRI进行非常强的压缩。然后送入网络G的decoder。因此网络同时拥有Masked MRI提供的局部空间结构Compressor提供的低容量全局信息。网络G的监督目标仍然是Original MRI。也就是原始图像和重建图像采用MSE Loss。训练以后正常结构 Original≈Reconstruction但异常结构 OriginalReconstruction。于是得到异常误差图。误差高的位置可能对应BMLcystosteophyte等。3.2 无需Mask的异常检测网络 A但真实临床中新患者刚进来时没有分割结果。所以作者再训练一个A它的输入直接是Original MRI而目标是G(x)。损失第一项要求 A(x)生成类似G的“去异常”MRI。第二项进一步要求A产生与G相似的异常误差分布。于是测试时MRI→A→Reconstruction再MRI−Reconstruction得到Anomaly Map。这个时候已经完全不需要人工mask。3.3 异常感知骨与软骨分割接下来才进入真正的Segmentation Network S。普通分割MRI→CNN→Segmentation本文则变成MRIAnomaly Error Map→Segmentation Network→Bone/Cartilage Masks作者构建UNET-S3D U−NetDeep SupervisionAnomaly−aware以及CAN-S 3D CANDeep SupervisionAnomaly−aware。Deep Supervision的意思是不只是最终输出层计算分割而是在网络内部多个尺度产生辅助segmentation map进行监督。这样可以加快收敛稳定深层网络训练对小样本、新类别尤其有帮助。四、结论本文提出一种异常感知膝关节MRI三维分割框架首先利用3D U-Net的inpainting和有损重建生成近似正常MRI并通过原图与重建图的差异无监督定位骨髓病变和骨囊肿等异常随后将异常误差图作为额外输入并用于加权分割损失使3D U-Net或3D CAN重点关注异常附近的困难区域从而减少OA患者骨与软骨分割中的严重边界错误并进一步实现股骨、胫骨、髌骨及其软骨和骨病灶的联合分割。
