198、跨模态超分：结合语义先验的文本引导图像超分辨率重建一、一个让我失眠的bug去年做低光照超分项目时，遇到一个诡异现象：模型对“人脸”区域的重建效果忽好忽坏，但同一张图里的“文字”区域却稳定得离谱。排查三天后才发现——训练数据里人脸样本太少，模型根本没学会“人脸该长什么样”。当时我盯着屏幕骂了句：“要是能告诉模型‘这是人脸，请按人脸结构重建’该多好。”这个念头，就是文本引导超分辨率重建的起点。二、为什么需要文本引导？——从“猜”到“知道”传统超分模型（SRCNN、EDSR、SwinIR）本质上是在做“像素级猜测”：给定低分辨率图像，模型根据统计规律补全高频细节。但遇到模糊到极致的图像时，模型会陷入“盲人摸象”——比如把圆形物体猜成硬币、月亮、轮胎，全凭运气。文本引导的核心思路：给模型一张“作弊小抄”。你告诉它“这是一只戴眼镜的猫”，模型就会优先激活“猫眼+眼镜框”的特征组合，而不是把眼镜腿猜成胡须。踩坑记录：别以为随便加个文本编码器就行。我第一版直接把CLIP文本特征拼接到U-Net中间层，结果模型完全忽略文本——因为文本特征的维度（512维）在数万维的图像特征面前直接被淹没了。后来用交叉注意力机制才解决，后面会细说。三、技术架构拆解：三件套缺一不可1. 文本编码器：别用BERT，用C
198、跨模态超分：结合语义先验的文本引导图像超分辨率重建一、一个让我失眠的bug去年做低光照超分项目时，遇到一个诡异现象：模型对“人脸”区域的重建效果忽好忽坏，但同一张图里的“文字”区域却稳定得离谱。排查三天后才发现——训练数据里人脸样本太少，模型根本没学会“人脸该长什么样”。当时我盯着屏幕骂了句：“要是能告诉模型‘这是人脸，请按人脸结构重建’该多好。”这个念头，就是文本引导超分辨率重建的起点。二、为什么需要文本引导？——从“猜”到“知道”传统超分模型（SRCNN、EDSR、SwinIR）本质上是在做“像素级猜测”：给定低分辨率图像，模型根据统计规律补全高频细节。但遇到模糊到极致的图像时，模型会陷入“盲人摸象”——比如把圆形物体猜成硬币、月亮、轮胎，全凭运气。文本引导的核心思路：给模型一张“作弊小抄”。你告诉它“这是一只戴眼镜的猫”，模型就会优先激活“猫眼+眼镜框”的特征组合，而不是把眼镜腿猜成胡须。踩坑记录：别以为随便加个文本编码器就行。我第一版直接把CLIP文本特征拼接到U-Net中间层，结果模型完全忽略文本——因为文本特征的维度（512维）在数万维的图像特征面前直接被淹没了。后来用交叉注意力机制才解决，后面会细说。三、技术架构拆解：三件套缺一不可1. 文本编码器：别用BERT，用C
