1. 从“拍糊了”到“拍干净了”ISP去噪的起点每次拿起手机拍照尤其是在光线不好的餐厅、傍晚的街头或者给孩子抓拍一个快速移动的瞬间最怕的就是看到预览框里一片模糊的噪点。按下快门得到的照片放大一看细节糊成一团色彩也脏兮兮的。这个“拍糊了”的体验本质上就是图像传感器在弱光或高速场景下信号被噪声严重污染的结果。而“拍干净了”的魔法很大程度上就发生在手机SoC里一个名为ISPImage Signal Processor图像信号处理器的模块中。今天我们不谈高深的数学公式就从最实际的“为什么需要去噪”以及“ISP去噪在整个拍照流程中扮演什么角色”开始聊聊这个让照片从“毛坯房”变成“精修图”的第一步。很多人以为去噪是后期用App一键美颜的事其实大错特错。当光线通过镜头打在CMOS传感器上产生电信号时噪声就已经如影随形地产生了。这些噪声包括因为光子到达随机性产生的“散粒噪声”、传感器本身电路热运动带来的“热噪声”、以及读取信号时引入的“读出噪声”等等。ISP去噪就是在原始传感器数据Raw Data这个最源头、信息量最丰富的阶段进行的第一次也是最关键的一次“大扫除”。它的目标是在尽量保留真实图像细节比如发丝、纹理的前提下把这些不该有的、随机的噪声斑点给抑制掉。这一步做得好不好直接决定了后续所有图像处理环节的“食材”质量。如果源头噪声太大后面无论怎么调色、锐化都像是用有杂质的沙子盖房子终究不牢靠画面会显得脏、糊、缺乏质感。所以当我们谈论“ISP去噪”时我们实际上是在讨论整个影像流水线ISP Pipeline的基石环节之一。它不是一个孤立的算法而是与曝光控制、色彩滤波阵列插值去马赛克、白平衡、色调映射等模块紧密耦合、相互影响的一系列处理过程。理解去噪是理解现代计算摄影如何从物理世界的噪声中“计算”出一张干净照片的起点。2. 噪声从哪里来认识图像传感器的“天生缺陷”要想有效地去除噪声首先得知道噪声是什么、它从哪儿来。这不是软件bug而是物理世界和半导体器件固有的特性。我们可以把CMOS传感器想象成一个由数百万个“小水桶”像素点组成的阵列。拍照时光子像雨点一样落入这些水桶每个水桶积累的“水量”电荷数就代表了该点的亮度。理想情况下光照强度稳定每个水桶接到的雨滴数应该完全由场景亮度决定。但现实很骨感这个过程充满了随机性。2.1 光子本身的随机性散粒噪声即使照射在传感器上的光线绝对均匀稳定光子到达每个像素点的时间和数量也是随机的服从泊松分布。这就好比虽然平均每分钟有100滴雨落入水桶但在某一秒内可能落了3滴下一秒可能一滴都没有。这种由于光子到达的量子随机性产生的噪声叫做散粒噪声。它的强度与信号强度的平方根成正比。也就是说信号越强光线越好虽然噪声的绝对值也增大但信噪比信号/噪声反而更高图像看起来就更干净。这就是为什么阳光充足时拍照画质好的根本原因。在弱光下信号本身很微弱散粒噪声的相对影响就变得非常显著画面就充满了“雪花点”。2.2 传感器自身的“不安静”热噪声与固定模式噪声传感器不是活在绝对零度。只要温度高于绝对零度硅原子和电子就会因热运动而产生额外的、随机的电荷这些电荷也会被像素的“水桶”收集起来形成热噪声Dark Current Noise。温度越高热噪声越严重。这就是为什么长时间曝光或者手机发热时即使盖上镜头盖拍一张全黑的照片画面也不是纯黑而是有亮斑的原因。为了抑制热噪声高端相机会采用传感器冷却技术而手机则主要依靠算法来建模和扣除。此外由于制造工艺的微小差异每个像素点的晶体管特性并非完全一致。有的“水桶”稍微有点漏有的对“雨水”更敏感。这导致即使在完全相同的照明条件下不同像素输出的基础信号也有细微差异。这种因像素个体差异导致的、图案固定的噪声称为固定模式噪声。它不像随机噪声那样每张图都变而是像传感器的一张“胎记”。好在FPN是固定的可以通过校准例如拍摄多张暗场图像取平均来测量并减去这在ISP的预处理环节通常会完成。2.3 把“水量”读出来的过程也会引入噪声当曝光结束需要测量每个“水桶”里有多少“水”时这个读取电路本身也会引入噪声称为读出噪声。它包括放大器噪声、量化噪声等。这部分噪声通常与信号大小无关是一个比较固定的底噪。在信号非常微弱时极暗光读出噪声会成为主导使得画面布满均匀的细密噪点。理解了这些噪声来源我们就能明白ISP去噪面临的挑战它需要在信号真实的图像细节和噪声各种随机和固定的干扰高度混杂的原始数据中进行分离。而且噪声不是单一的它是多种噪声的混合体其统计特性强度、分布、空间相关性随着ISO感光度、曝光时间、传感器温度的变化而动态变化。一个优秀的ISP去噪算法必须能自适应这些变化。3. ISP流水线中的去噪时机与策略ISP处理图像不是一步到位的而是一条精心设计的流水线Pipeline。去噪模块在这个流水线中的位置和策略直接决定了其效能和副作用。通常去噪不会只发生一次而是多次的、有针对性的。3.1 前端去噪在Raw域动刀最经典也是最重要的去噪发生在RAW域即传感器输出的原始数据刚进入ISP时。此时的数据是未经任何处理的、每个像素仅包含一种颜色因为拜耳滤镜的灰度信息。在RAW域去噪有巨大优势数据线性、动态范围最大、噪声统计特性相对单纯更接近传感器本身的噪声模型。在这里进行去噪相当于在食材还没下锅前就洗拣干净效果最彻底对后续环节的负面影响最小。RAW域去噪通常采用基于滤波和基于模型的方法。例如利用噪声在空域相邻像素和时域多帧之间的相关性很弱而真实图像边缘具有很强的相关性的特点设计滤波器来平滑平坦区域噪声多而保留边缘细节多。更先进的方法会先估算当前拍摄条件ISO、温度下的噪声水平建立噪声模型然后根据模型自适应地调整滤波强度。注意RAW域去噪强度需要非常精细的权衡。去得太狠虽然噪声没了但细节特别是微弱的纹理也会被当成噪声抹掉导致画面“塑料感”去得不够噪声会污染后续的色彩插值和降采样等环节产生彩噪和伪色。这个参数的调校是各家手机影像算法实力的核心体现之一。3.2 色度去噪与亮度去噪分而治之在RAW数据经过去马赛克Demosaic变成全彩图后噪声会以不同的形式表现在亮度Luma和色度Chroma通道上。人眼对亮度细节的敏感度远高于对色度变化的敏感度但对色度噪声表现为彩色斑点的厌恶感却很强。因此ISP通常会采用“分而治之”的策略色度去噪可以做得比较“激进”。因为彩色噪声非常影响观感而适度的色彩平滑对细节感知影响较小。算法会在色彩空间如YUV或Lab中对UV或ab通道进行较强的降噪有效消除恼人的红绿蓝斑点。亮度去噪则需要更加“保守”和“智能”。目标是去除噪声颗粒感的同时最大限度地保留边缘、纹理等高频细节。这常常会用到更复杂的算法如非局部均值、小波阈值去噪乃至现在基于深度学习的降噪网络。亮度去噪的成败直接决定了照片的“清晰度”和“质感”。3.3 时域去噪多帧合成的威力单帧图像的信息是有限的。当噪声很强时从单帧中分离信号与噪声犹如大海捞针。但如果我们连续拍摄多张比如5-10张照片场景是静止的而噪声是随机的。那么通过对齐这多张图像并取平均随机噪声会被大幅抑制而稳定的场景信号则会得到增强。这就是多帧降噪Multi-frame Denoising或Multi-frame NR的基本原理它是现代手机在弱光下画质逆天的关键技术。ISP的多帧合成非常复杂并非简单平均。它需要帧间对齐由于手持抖动连续帧之间会有微小位移必须通过运动估计进行亚像素级的精准对齐。运动检测画面中可能有运动的物体行人、车辆对这些区域不能做平均否则会产生鬼影。需要检测出来采用特殊的处理策略如选择一帧为主帧或进行运动补偿。噪声权重融合不同帧的噪声水平可能因曝光微调而略有差异融合时会根据信噪比给予不同的权重。多帧合成将去噪从“空间维度”扩展到了“时间维度”极大地提升了信噪比上限。但它以处理耗时和功耗为代价并且对高速运动场景不友好。4. 经典算法实战小波阈值去噪的直观理解在深度学习一统天下之前小波阈值去噪是亮度去噪中一种非常有效且理论优美的算法。理解它有助于我们把握去噪算法的核心思想。我们可以用一个简单的类比来理解小波变换它就像用不同放大倍率的显微镜去观察一幅图像。一张图像经过小波变换后会被分解成一系列“子带图像”。有些子带包含了图像大致的轮廓和低频信息就像低倍镜看到的整体结构有些子带则包含了边缘、纹理等高频细节就像高倍镜看到的细微特征。而噪声作为一种高频的随机扰动主要存在于这些高频子带中。小波阈值去噪的步骤非常巧妙分解对含噪图像进行多层小波变换得到各频率的子带系数。阈值处理这是核心。设定一个阈值。认为幅度小于该阈值的系数很可能是噪声引起的将其置零或缩小认为幅度大于该阈值的系数很可能是重要的图像边缘或纹理予以保留或小幅缩减。这就像在嘈杂的派对上你屏蔽掉所有微小的交谈声噪声只注意那些大声说话的人信号。常用的阈值函数有硬阈值直接砍掉小的和软阈值将小的收缩为零大的也减掉阈值。重构用处理后的系数进行小波逆变换得到去噪后的图像。这个方法的强大之处在于它能在频率和空间上同时定位。传统的傅里叶变换只能告诉你图像中有哪些频率但不知道这些频率成分出现在哪个位置。小波变换则能告诉你“什么样的细节频率出现在哪里位置”。因此它可以在平滑平坦区域这些区域的高频系数大概率是噪声的同时很好地保留边缘处的高频系数这些是真实细节。在实际的ISP实现中小波阈值去噪可能会针对图像的不同区域根据局部梯度、纹理复杂度判断自适应地调整阈值实现更精细的控制。当然它的计算复杂度较高而且阈值的选取非常关键选大了会模糊细节选小了则去噪不彻底。5. 现代ISP去噪的挑战与演进随着传感器像素越来越高从1200万到5000万甚至1亿单位像素面积变小单个像素的进光量减少使得噪声问题更加严峻。同时用户对视频、尤其是弱光视频的画质要求也水涨船高。这些都给ISP去噪带来了新的挑战。5.1 高分辨率与计算负载的平衡处理一张5000万像素的RAW图数据量是巨大的。传统的全局滤波或复杂变换算法如小波在手机有限的功耗和算力预算下可能难以为继。因此算法必须进行高度的优化和并行化。一种策略是采用“分层处理”先对低分辨率版本图像进行噪声估计和参数计算再将参数映射到全分辨率图上进行轻量级的滤波。另一种趋势是借助专用的硬件单元如NPU神经网络处理单元来加速基于AI的去噪算法。5.2 AI降噪的崛起与融合近年来基于深度学习的降噪算法在效果上取得了突破。通过在海量“干净图像-含噪图像”对上训练神经网络可以学习到极其复杂的噪声与细节的映射关系能够在极低信噪比下恢复出令人惊叹的细节。AI去噪的优势在于其强大的非线性拟合能力和上下文理解能力它能看懂“这是一个眼睛应该有什么样的纹理”。然而纯AI方案也存在问题模型庞大、推理耗电、可能存在不可预测的伪影如“脑补”出错误的细节。因此当前最前沿的ISP去噪方案往往是传统算法与AI算法的混合体。例如用传统算法做基础的、可预测的噪声抑制用轻量级AI网络处理残留的复杂噪声或进行细节增强或者在RAW域使用传统方法在YUV域使用AI进行后处理。这种混合架构兼顾了效果、效率和可靠性。5.3 视频去噪时域一致性的生死线照片去噪可以慢慢算但视频去噪必须在33毫秒30fps内完成一帧并且要保证帧与帧之间去噪效果的稳定性。如果去噪强度在帧间波动会导致画面中本该静止的平坦区域出现闪烁或波浪状的“噪声蠕动”这种观感比静态噪声更差。因此视频去噪极度依赖时域滤波会大量使用递归滤波当前帧的输出会参考前一帧去噪后的结果以保持时间稳定性。这对运动估计的准确性提出了极高要求也是视频画质调校的难点所在。5.4 ISP Pipeline的联动去噪不是孤岛最后必须强调ISP中的去噪模块绝不能闭门造车。它与前端的曝光控制、后端的锐化、高动态范围合成HDR等模块深度耦合。与曝光控制的联动在极暗光下ISP可能会指令传感器采用“高ISO短曝光”或“低ISO长曝光”的不同策略。这两种策略产生的噪声特性噪声大小、分布不同去噪算法需要知晓并切换相应的参数。与锐化的矛盾与统一去噪会模糊细节锐化则会增强边缘。两者本质上是矛盾的。粗暴的先降噪后锐化很容易导致“白边”伪影halo或放大噪声。先进的ISP会将两者联合考虑例如在降噪时保护边缘信息或者在锐化时避免对平坦噪声区域进行增强。这被称为“细节管理”或“噪声自适应锐化”。与HDR/MFNR的融合在多帧高动态范围合成或多帧降噪中去噪本身就是合成算法的一部分。如何对齐不同曝光帧、如何处理运动物体都需要去噪模块提供信息或与之协同工作。我自己在调试图像算法时最深的一个体会是一个优秀的去噪效果往往不是由一个最强的算法模块独立达成的而是通过整个Pipeline中多个模块相互妥协、协同工作所获得的最佳平衡。调校的过程就像是在“噪声”、“细节”、“伪影”、“功耗”这几个鸡蛋上跳舞任何一个参数动一下都可能牵一发而动全身。看到这里你可能对ISP去噪这个看似基础的功能有了更立体的认识。它远不止是一个简单的“模糊滤镜”而是一个融合了信号处理、概率统计、视觉心理和硬件特性的复杂系统工程是手机影像从“能拍”到“拍得好”的基石。
1. 从“拍糊了”到“拍干净了”ISP去噪的起点每次拿起手机拍照尤其是在光线不好的餐厅、傍晚的街头或者给孩子抓拍一个快速移动的瞬间最怕的就是看到预览框里一片模糊的噪点。按下快门得到的照片放大一看细节糊成一团色彩也脏兮兮的。这个“拍糊了”的体验本质上就是图像传感器在弱光或高速场景下信号被噪声严重污染的结果。而“拍干净了”的魔法很大程度上就发生在手机SoC里一个名为ISPImage Signal Processor图像信号处理器的模块中。今天我们不谈高深的数学公式就从最实际的“为什么需要去噪”以及“ISP去噪在整个拍照流程中扮演什么角色”开始聊聊这个让照片从“毛坯房”变成“精修图”的第一步。很多人以为去噪是后期用App一键美颜的事其实大错特错。当光线通过镜头打在CMOS传感器上产生电信号时噪声就已经如影随形地产生了。这些噪声包括因为光子到达随机性产生的“散粒噪声”、传感器本身电路热运动带来的“热噪声”、以及读取信号时引入的“读出噪声”等等。ISP去噪就是在原始传感器数据Raw Data这个最源头、信息量最丰富的阶段进行的第一次也是最关键的一次“大扫除”。它的目标是在尽量保留真实图像细节比如发丝、纹理的前提下把这些不该有的、随机的噪声斑点给抑制掉。这一步做得好不好直接决定了后续所有图像处理环节的“食材”质量。如果源头噪声太大后面无论怎么调色、锐化都像是用有杂质的沙子盖房子终究不牢靠画面会显得脏、糊、缺乏质感。所以当我们谈论“ISP去噪”时我们实际上是在讨论整个影像流水线ISP Pipeline的基石环节之一。它不是一个孤立的算法而是与曝光控制、色彩滤波阵列插值去马赛克、白平衡、色调映射等模块紧密耦合、相互影响的一系列处理过程。理解去噪是理解现代计算摄影如何从物理世界的噪声中“计算”出一张干净照片的起点。2. 噪声从哪里来认识图像传感器的“天生缺陷”要想有效地去除噪声首先得知道噪声是什么、它从哪儿来。这不是软件bug而是物理世界和半导体器件固有的特性。我们可以把CMOS传感器想象成一个由数百万个“小水桶”像素点组成的阵列。拍照时光子像雨点一样落入这些水桶每个水桶积累的“水量”电荷数就代表了该点的亮度。理想情况下光照强度稳定每个水桶接到的雨滴数应该完全由场景亮度决定。但现实很骨感这个过程充满了随机性。2.1 光子本身的随机性散粒噪声即使照射在传感器上的光线绝对均匀稳定光子到达每个像素点的时间和数量也是随机的服从泊松分布。这就好比虽然平均每分钟有100滴雨落入水桶但在某一秒内可能落了3滴下一秒可能一滴都没有。这种由于光子到达的量子随机性产生的噪声叫做散粒噪声。它的强度与信号强度的平方根成正比。也就是说信号越强光线越好虽然噪声的绝对值也增大但信噪比信号/噪声反而更高图像看起来就更干净。这就是为什么阳光充足时拍照画质好的根本原因。在弱光下信号本身很微弱散粒噪声的相对影响就变得非常显著画面就充满了“雪花点”。2.2 传感器自身的“不安静”热噪声与固定模式噪声传感器不是活在绝对零度。只要温度高于绝对零度硅原子和电子就会因热运动而产生额外的、随机的电荷这些电荷也会被像素的“水桶”收集起来形成热噪声Dark Current Noise。温度越高热噪声越严重。这就是为什么长时间曝光或者手机发热时即使盖上镜头盖拍一张全黑的照片画面也不是纯黑而是有亮斑的原因。为了抑制热噪声高端相机会采用传感器冷却技术而手机则主要依靠算法来建模和扣除。此外由于制造工艺的微小差异每个像素点的晶体管特性并非完全一致。有的“水桶”稍微有点漏有的对“雨水”更敏感。这导致即使在完全相同的照明条件下不同像素输出的基础信号也有细微差异。这种因像素个体差异导致的、图案固定的噪声称为固定模式噪声。它不像随机噪声那样每张图都变而是像传感器的一张“胎记”。好在FPN是固定的可以通过校准例如拍摄多张暗场图像取平均来测量并减去这在ISP的预处理环节通常会完成。2.3 把“水量”读出来的过程也会引入噪声当曝光结束需要测量每个“水桶”里有多少“水”时这个读取电路本身也会引入噪声称为读出噪声。它包括放大器噪声、量化噪声等。这部分噪声通常与信号大小无关是一个比较固定的底噪。在信号非常微弱时极暗光读出噪声会成为主导使得画面布满均匀的细密噪点。理解了这些噪声来源我们就能明白ISP去噪面临的挑战它需要在信号真实的图像细节和噪声各种随机和固定的干扰高度混杂的原始数据中进行分离。而且噪声不是单一的它是多种噪声的混合体其统计特性强度、分布、空间相关性随着ISO感光度、曝光时间、传感器温度的变化而动态变化。一个优秀的ISP去噪算法必须能自适应这些变化。3. ISP流水线中的去噪时机与策略ISP处理图像不是一步到位的而是一条精心设计的流水线Pipeline。去噪模块在这个流水线中的位置和策略直接决定了其效能和副作用。通常去噪不会只发生一次而是多次的、有针对性的。3.1 前端去噪在Raw域动刀最经典也是最重要的去噪发生在RAW域即传感器输出的原始数据刚进入ISP时。此时的数据是未经任何处理的、每个像素仅包含一种颜色因为拜耳滤镜的灰度信息。在RAW域去噪有巨大优势数据线性、动态范围最大、噪声统计特性相对单纯更接近传感器本身的噪声模型。在这里进行去噪相当于在食材还没下锅前就洗拣干净效果最彻底对后续环节的负面影响最小。RAW域去噪通常采用基于滤波和基于模型的方法。例如利用噪声在空域相邻像素和时域多帧之间的相关性很弱而真实图像边缘具有很强的相关性的特点设计滤波器来平滑平坦区域噪声多而保留边缘细节多。更先进的方法会先估算当前拍摄条件ISO、温度下的噪声水平建立噪声模型然后根据模型自适应地调整滤波强度。注意RAW域去噪强度需要非常精细的权衡。去得太狠虽然噪声没了但细节特别是微弱的纹理也会被当成噪声抹掉导致画面“塑料感”去得不够噪声会污染后续的色彩插值和降采样等环节产生彩噪和伪色。这个参数的调校是各家手机影像算法实力的核心体现之一。3.2 色度去噪与亮度去噪分而治之在RAW数据经过去马赛克Demosaic变成全彩图后噪声会以不同的形式表现在亮度Luma和色度Chroma通道上。人眼对亮度细节的敏感度远高于对色度变化的敏感度但对色度噪声表现为彩色斑点的厌恶感却很强。因此ISP通常会采用“分而治之”的策略色度去噪可以做得比较“激进”。因为彩色噪声非常影响观感而适度的色彩平滑对细节感知影响较小。算法会在色彩空间如YUV或Lab中对UV或ab通道进行较强的降噪有效消除恼人的红绿蓝斑点。亮度去噪则需要更加“保守”和“智能”。目标是去除噪声颗粒感的同时最大限度地保留边缘、纹理等高频细节。这常常会用到更复杂的算法如非局部均值、小波阈值去噪乃至现在基于深度学习的降噪网络。亮度去噪的成败直接决定了照片的“清晰度”和“质感”。3.3 时域去噪多帧合成的威力单帧图像的信息是有限的。当噪声很强时从单帧中分离信号与噪声犹如大海捞针。但如果我们连续拍摄多张比如5-10张照片场景是静止的而噪声是随机的。那么通过对齐这多张图像并取平均随机噪声会被大幅抑制而稳定的场景信号则会得到增强。这就是多帧降噪Multi-frame Denoising或Multi-frame NR的基本原理它是现代手机在弱光下画质逆天的关键技术。ISP的多帧合成非常复杂并非简单平均。它需要帧间对齐由于手持抖动连续帧之间会有微小位移必须通过运动估计进行亚像素级的精准对齐。运动检测画面中可能有运动的物体行人、车辆对这些区域不能做平均否则会产生鬼影。需要检测出来采用特殊的处理策略如选择一帧为主帧或进行运动补偿。噪声权重融合不同帧的噪声水平可能因曝光微调而略有差异融合时会根据信噪比给予不同的权重。多帧合成将去噪从“空间维度”扩展到了“时间维度”极大地提升了信噪比上限。但它以处理耗时和功耗为代价并且对高速运动场景不友好。4. 经典算法实战小波阈值去噪的直观理解在深度学习一统天下之前小波阈值去噪是亮度去噪中一种非常有效且理论优美的算法。理解它有助于我们把握去噪算法的核心思想。我们可以用一个简单的类比来理解小波变换它就像用不同放大倍率的显微镜去观察一幅图像。一张图像经过小波变换后会被分解成一系列“子带图像”。有些子带包含了图像大致的轮廓和低频信息就像低倍镜看到的整体结构有些子带则包含了边缘、纹理等高频细节就像高倍镜看到的细微特征。而噪声作为一种高频的随机扰动主要存在于这些高频子带中。小波阈值去噪的步骤非常巧妙分解对含噪图像进行多层小波变换得到各频率的子带系数。阈值处理这是核心。设定一个阈值。认为幅度小于该阈值的系数很可能是噪声引起的将其置零或缩小认为幅度大于该阈值的系数很可能是重要的图像边缘或纹理予以保留或小幅缩减。这就像在嘈杂的派对上你屏蔽掉所有微小的交谈声噪声只注意那些大声说话的人信号。常用的阈值函数有硬阈值直接砍掉小的和软阈值将小的收缩为零大的也减掉阈值。重构用处理后的系数进行小波逆变换得到去噪后的图像。这个方法的强大之处在于它能在频率和空间上同时定位。传统的傅里叶变换只能告诉你图像中有哪些频率但不知道这些频率成分出现在哪个位置。小波变换则能告诉你“什么样的细节频率出现在哪里位置”。因此它可以在平滑平坦区域这些区域的高频系数大概率是噪声的同时很好地保留边缘处的高频系数这些是真实细节。在实际的ISP实现中小波阈值去噪可能会针对图像的不同区域根据局部梯度、纹理复杂度判断自适应地调整阈值实现更精细的控制。当然它的计算复杂度较高而且阈值的选取非常关键选大了会模糊细节选小了则去噪不彻底。5. 现代ISP去噪的挑战与演进随着传感器像素越来越高从1200万到5000万甚至1亿单位像素面积变小单个像素的进光量减少使得噪声问题更加严峻。同时用户对视频、尤其是弱光视频的画质要求也水涨船高。这些都给ISP去噪带来了新的挑战。5.1 高分辨率与计算负载的平衡处理一张5000万像素的RAW图数据量是巨大的。传统的全局滤波或复杂变换算法如小波在手机有限的功耗和算力预算下可能难以为继。因此算法必须进行高度的优化和并行化。一种策略是采用“分层处理”先对低分辨率版本图像进行噪声估计和参数计算再将参数映射到全分辨率图上进行轻量级的滤波。另一种趋势是借助专用的硬件单元如NPU神经网络处理单元来加速基于AI的去噪算法。5.2 AI降噪的崛起与融合近年来基于深度学习的降噪算法在效果上取得了突破。通过在海量“干净图像-含噪图像”对上训练神经网络可以学习到极其复杂的噪声与细节的映射关系能够在极低信噪比下恢复出令人惊叹的细节。AI去噪的优势在于其强大的非线性拟合能力和上下文理解能力它能看懂“这是一个眼睛应该有什么样的纹理”。然而纯AI方案也存在问题模型庞大、推理耗电、可能存在不可预测的伪影如“脑补”出错误的细节。因此当前最前沿的ISP去噪方案往往是传统算法与AI算法的混合体。例如用传统算法做基础的、可预测的噪声抑制用轻量级AI网络处理残留的复杂噪声或进行细节增强或者在RAW域使用传统方法在YUV域使用AI进行后处理。这种混合架构兼顾了效果、效率和可靠性。5.3 视频去噪时域一致性的生死线照片去噪可以慢慢算但视频去噪必须在33毫秒30fps内完成一帧并且要保证帧与帧之间去噪效果的稳定性。如果去噪强度在帧间波动会导致画面中本该静止的平坦区域出现闪烁或波浪状的“噪声蠕动”这种观感比静态噪声更差。因此视频去噪极度依赖时域滤波会大量使用递归滤波当前帧的输出会参考前一帧去噪后的结果以保持时间稳定性。这对运动估计的准确性提出了极高要求也是视频画质调校的难点所在。5.4 ISP Pipeline的联动去噪不是孤岛最后必须强调ISP中的去噪模块绝不能闭门造车。它与前端的曝光控制、后端的锐化、高动态范围合成HDR等模块深度耦合。与曝光控制的联动在极暗光下ISP可能会指令传感器采用“高ISO短曝光”或“低ISO长曝光”的不同策略。这两种策略产生的噪声特性噪声大小、分布不同去噪算法需要知晓并切换相应的参数。与锐化的矛盾与统一去噪会模糊细节锐化则会增强边缘。两者本质上是矛盾的。粗暴的先降噪后锐化很容易导致“白边”伪影halo或放大噪声。先进的ISP会将两者联合考虑例如在降噪时保护边缘信息或者在锐化时避免对平坦噪声区域进行增强。这被称为“细节管理”或“噪声自适应锐化”。与HDR/MFNR的融合在多帧高动态范围合成或多帧降噪中去噪本身就是合成算法的一部分。如何对齐不同曝光帧、如何处理运动物体都需要去噪模块提供信息或与之协同工作。我自己在调试图像算法时最深的一个体会是一个优秀的去噪效果往往不是由一个最强的算法模块独立达成的而是通过整个Pipeline中多个模块相互妥协、协同工作所获得的最佳平衡。调校的过程就像是在“噪声”、“细节”、“伪影”、“功耗”这几个鸡蛋上跳舞任何一个参数动一下都可能牵一发而动全身。看到这里你可能对ISP去噪这个看似基础的功能有了更立体的认识。它远不止是一个简单的“模糊滤镜”而是一个融合了信号处理、概率统计、视觉心理和硬件特性的复杂系统工程是手机影像从“能拍”到“拍得好”的基石。
)
