尧图网站建设 
简介这份资源面向计算机视觉学习者与开发者提供一套基于SAM、DINO与CLIP组合模型的全景图智能处理方案用于解决复杂场景下的地物分类、实例分割与语义识别问题并融入零样本学习与提示工程思路适合具备一定深度学习基础、希望研究多模型协同分割的读者。压缩包共70个文件约3.89MB以54个Python脚本为核心辅以C与CUDA源码、模型头文件、示例图片及说明文档涵盖模型加载、推理流程与自动掩码生成等模块。资源中附有主程序入口、测试图像与结果图以及说明文件和附赠文档便于读者快速理解项目结构、复现分割效果并在此基础上做二次开发。目前已有204人学习可作为全景图像分割与地物分类方向的实践参考。1. 全景图地物分类的痛点为什么单模型总是翻车做过全景图像分割的同行大概率都经历过这种场景一张 360 度全景图丢进普通分割模型建筑物边缘撕裂、道路和草地混成一团、天空被误判成水面。原因不复杂——全景图存在严重的桶形畸变和极点拉伸常规 CNN 感受野在畸变区域完全失效。更麻烦的是地物分类往往需要几十个类别标注成本高到离谱一个新场景就得重新标几千张 mask。这套基于 SAM-DINO-CLIP 组合模型的智能图像处理系统核心思路就是用零样本能力绕开重标注。SAM 负责类无关的精细掩码生成DINO 提供自监督的稠密特征CLIP 做文本-图像对齐实现开放词汇分类。三者串起来全景图场景下的地物分类和实例分割可以做到不训练就能跑。适合做遥感、城市测绘、自动驾驶仿真环境构建的从业者也适合想入门多模态分割的学生。2. 三模型分工拆解SAM 出掩码、DINO 提特征、CLIP 做分类2.1 为什么不能只用 SAM 或只用 CLIP单独用 SAM 的问题在于它只输出「这是什么东西的轮廓」不告诉你「这是什么类别」。你给它一张全景图它能吐出几百个 mask但每个 mask 是建筑还是道路它不知道。单独用 CLIP 的问题反过来——它能判断整张图的语义但没法做像素级定位你问它「图里有没有建筑」它能答你问「建筑在哪几个像素」它就废了。DINO 在这里的角色容易被忽略。很多人以为 SAM CLIP 就够了实际上 DINO 的自监督特征在中间层提供了非常干净的语义边界信息。常见做法是把 DINO 的 patch token 做 PCA 可视化你会发现建筑和道路的聚类边界比原始 RGB 清晰得多。这套系统把 DINO 特征作为 SAM 的 prompt encoder 补充输入掩码质量提升明显。2.2 组合模型的推理链路整个链路分四步走。第一步全景图先做等距柱状投影展开切成重叠 patch。第二步每个 patch 送入 SAM 的 ViT-H 编码器得到 image embedding同时 DINOv2 提取 patch 级特征。第三步用 DINO 特征的聚类中心作为点 prompt 喂给 SAM 的 mask decoder得到类无关掩码。第四步每个掩码区域裁剪出来送 CLIP 图像编码器和预定义的文本 prompt 做相似度匹配取最高分作为类别。import torch import numpy as np from segment_anything import sam_model_registry, SamPredictor from transformers import CLIPProcessor, CLIPModel from torchvision import transforms # 加载三个模型注意 SAM 用 ViT-HDINOv2 用 giant 级别 sam sam_model_registry[vit_h](checkpointsam_vit_h_4b8939.pth).cuda().eval() dino torch.hub.load(facebookresearch/dinov2, dinov2_vitg14).cuda().eval() clip_model CLIPModel.from_pretrained(openai/clip-vit-large-patch14).cuda().eval() clip_proc CLIPProcessor.from_pretrained(openai/clip-vit-large-patch14) # 全景图切 patch重叠 128 像素避免边界断裂 def split_panorama(img, patch1024, overlap128): h, w img.shape[:2] patches, coords [], [] for y in range(0, h, patch - overlap): for x in range(0, w, patch - overlap): p img[y:ypatch, x:xpatch] if p.shape[0] patch or p.shape[1] patch: p np.pad(p, ((0, patch-p.shape[0]), (0, patch-p.shape[1]), (0,0)), modereflect) patches.append(p) coords.append((x, y)) return patches, coords这段代码的关键参数是 patch 大小和 overlap。全景图极点区域畸变最严重patch 太小会导致 SAM 编码器看不到足够上下文太大又显存爆炸。实测 1024 配 128 重叠是 24G 显存下的平衡点。DINOv2 用 giant 而不是 large是因为全景图纹理复杂large 的特征在草地和树林区域区分度不够。2.3 文本 prompt 的设计原则CLIP 分类效果好不好七成看 prompt 怎么写。不要只写「building」要写「aerial view of a building with a flat roof」。全景图视角特殊prompt 里带上视角描述词能显著提升对齐精度。常见做法是为每个类别准备 5-8 个模板推理时取平均 embedding。# 每个类别多模板 prompt取平均更稳 class_prompts { building: [aerial view of a building, top-down view of a roof, residential building from above], road: [a paved road surface, asphalt road seen from above, street pavement texture], vegetation: [green trees and grass, dense vegetation canopy, forest from aerial view], water: [water surface with reflections, lake or river from above, blue water body], } def get_text_embeddings(clip_model, clip_proc, class_prompts): text_embs {} for cls, prompts in class_prompts.items(): inputs clip_proc(textprompts, return_tensorspt, paddingTrue).to(cuda) with torch.no_grad(): emb clip_model.get_text_features(**inputs) emb emb / emb.norm(dim-1, keepdimTrue) text_embs[cls] emb.mean(dim0) # 多模板平均 return text_embs模板平均这个操作看起来简单但在全景图场景下能带来 3-5 个点的 mIoU 提升。原因是单一 prompt 容易过拟合到某个特定纹理多模板平均相当于做了 test-time augmentation。3. 从全景图到分类结果完整推理流程与参数配置3.1 环境搭建与模型权重准备这套系统对显存要求不低SAM ViT-H 本身就要 6G 左右DINOv2 giant 再加 4GCLIP large 约 3G加上中间特征图24G 卡是起步。如果只有 16G可以把 DINOv2 换成 base 版本精度掉 2 个点左右但能跑起来。# 依赖安装注意 segment-anything 要从源码装 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install githttps://github.com/facebookresearch/segment-anything.git pip install transformers4.38.0 timm einops opencv-python pip install githttps://github.com/facebookresearch/dinov2.git # 权重下载后放到 checkpoints 目录 # sam_vit_h_4b8939.pth 约 2.4G # dinov2_vitg14 会自动从 torch hub 拉 # CLIP 从 HuggingFace 拉约 1.7G版本上有个血泪经验transformers 不要用 4.40 以上CLIP 的 get_text_features 接口在 4.40 改了返回格式直接跑会报维度错误。4.38 是验证过最稳的版本。3.2 掩码生成与后处理SAM 输出的掩码是类无关的一张全景图可能出 300-500 个 mask其中大量是碎片。后处理要做三件事按面积过滤掉小于 200 像素的噪声 mask、按 IoU 做 NMS 去重、把重叠 patch 的 mask 拼回全景图坐标系。def postprocess_masks(masks, scores, coords, full_size, min_area200, iou_thresh0.7): # 先按面积过滤 valid [] for m, s, (x, y) in zip(masks, scores, coords): if m.sum() min_area: continue valid.append((m, s, x, y)) # 拼回全景图重叠区域取分数高的 H, W full_size full_mask np.zeros((H, W), dtypenp.int32) full_score np.zeros((H, W), dtypenp.float32) for idx, (m, s, x, y) in enumerate(valid): h, w m.shape region full_score[y:yh, x:xw] update (m 0) (s region) full_mask[y:yh, x:xw][update] idx 1 full_score[y:yh, x:xw][update] s return full_mask, validmin_area 这个参数要看你的全景图分辨率。如果是 8000x4000 的测绘级全景图200 太小建议提到 500。iou_thresh 在 0.7 左右比较平衡太低会误删相邻建筑太高会保留重复 mask。3.3 CLIP 分类与置信度过滤每个 mask 裁剪出来后要做两件事一是把 mask 外的区域用灰色填充避免背景干扰 CLIP 判断二是裁剪区域要 resize 到 224x224这是 CLIP 的标准输入尺寸。def classify_masks(image, full_mask, valid_masks, text_embs, clip_model, clip_proc, conf_thresh0.25): results [] for idx, (m, s, x, y) in enumerate(valid_masks): h, w m.shape crop image[y:yh, x:xw].copy() crop[m 0] 128 # mask 外填灰 crop_pil Image.fromarray(crop).resize((224, 224)) inputs clip_proc(imagescrop_pil, return_tensorspt).to(cuda) with torch.no_grad(): img_emb clip_model.get_image_features(**inputs) img_emb img_emb / img_emb.norm(dim-1, keepdimTrue) best_cls, best_score None, 0 for cls, txt_emb in text_embs.items(): score (img_emb txt_emb.T).item() if score best_score: best_score, best_cls score, cls if best_score conf_thresh: results.append({mask_id: idx1, class: best_cls, score: best_score}) return resultsconf_thresh 设 0.25 是经验值。低于这个值的 mask 大概率是畸变区域的伪影强行分类会拉低整体精度。如果做测绘级应用建议提到 0.3 并人工复核低置信度区域。4. 避坑与排查全景图分割的五个真实翻车现场4.1 极点区域掩码碎裂现象全景图顶部和底部的掩码碎成几十个小块完全没法用。原因等距柱状投影在极点处拉伸最严重SAM 的 ViT 编码器在极端长宽比下位置编码失效。解决极点区域单独做球面投影校正后再切 patch或者直接把极点 15% 区域裁掉不处理。我一般会在预处理阶段加一个纬度掩码超过 75 度纬度的区域降采样处理。4.2 CLIP 把道路认成停车场现象大面积灰色路面被分类成 parking lot 而不是 road。原因CLIP 的 prompt 里 parking lot 和 road 的文本 embedding 余弦相似度高达 0.92模型很难区分。解决在 prompt 里加入区分性描述词road 用「linear paved surface for vehicles」parking lot 用「area with parked cars and marked spaces」。另外可以加一个后处理规则如果 mask 的长宽比大于 3强制归为 road。4.3 显存溢出在 patch 拼接阶段现象单 patch 推理正常拼回全景图时 OOM。原因拼接时把所有 patch 的 mask 同时加载到 GPU 做 NMS显存峰值是推理时的 3 倍。解决NMS 放到 CPU 做用 numpy 实现或者分批拼接。实测 CPU 版 NMS 在 500 个 mask 规模下只要 0.3 秒完全可接受。4.4 DINOv2 特征和 SAM 掩码不对齐现象DINO 聚类中心作为 prompt 喂给 SAM 后掩码反而比随机点 prompt 更差。原因DINOv2 的 patch size 是 14SAM 的 ViT-H patch size 是 16两者特征图分辨率不一致直接映射会偏移。解决把 DINO 特征双线性插值到 SAM 的特征图尺寸再算聚类中心。这个坑很隐蔽因为不报错只是效果差。4.5 文本 prompt 中文支持问题现象用中文 prompt 如「建筑物」时 CLIP 分类精度暴跌。原因OpenAI 的 CLIP 原版在中文上训练数据极少中文 embedding 质量差。解决要么用中文 CLIP 变体如 Chinese-CLIP要么把类别名翻译成英文再编码。我一般直接维护一个中英映射表推理时用英文 prompt输出时映射回中文类别名。5. 进阶技巧用 DINO 特征做掩码质量自检跑通基础流程后怎么判断输出的掩码靠不靠谱总不能每张图都人工看。我摸索出一个用 DINO 特征做自检的方法对每个 mask 区域提取 DINO 特征的均值和方差如果方差超过阈值说明这个 mask 内部特征不一致大概率是过分割或欠分割。def mask_quality_check(dino_feat, mask, var_thresh0.15): # dino_feat: [C, H, W] 已经插值到原图尺寸 # mask: [H, W] 二值掩码 region_feat dino_feat[:, mask 0] # [C, N] if region_feat.shape[1] 10: return 0.0 var region_feat.var(dim1).mean().item() return 1.0 if var var_thresh else 0.0var_thresh 这个阈值需要按场景调。城市建筑场景 0.15 比较合适植被覆盖场景要放宽到 0.25因为树冠本身纹理就复杂。这个自检分数可以作为一个额外输出让下游应用决定是否采信这个 mask。另一个实用技巧是 prompt ensemble 的加权平均。不是所有模板权重都一样可以用少量标注数据学一组权重。哪怕只有 50 张标注图学出来的权重也能让 CLIP 分类精度提升 4-6 个点。具体做法是把每个模板的 embedding 和图像 embedding 算相似度然后用逻辑回归学权重。# 用少量标注数据学 prompt 权重 from sklearn.linear_model import LogisticRegression def learn_prompt_weights(clip_model, clip_proc, images, labels, class_prompts): # images: list of PIL, labels: list of class names feats, targets [], [] for img, lbl in zip(images, labels): inputs clip_proc(imagesimg, return_tensorspt).to(cuda) with torch.no_grad(): img_emb clip_model.get_image_features(**inputs) img_emb img_emb / img_emb.norm(dim-1, keepdimTrue) for cls, prompts in class_prompts.items(): txt_inputs clip_proc(textprompts, return_tensorspt, paddingTrue).to(cuda) with torch.no_grad(): txt_embs clip_model.get_text_features(**txt_inputs) txt_embs txt_embs / txt_embs.norm(dim-1, keepdimTrue) sims (img_emb txt_embs.T).cpu().numpy().flatten() feats.append(sims) targets.append(1 if cls lbl else 0) clf LogisticRegression().fit(feats, targets) return clf.coef_这套自检加权重学习的组合是我在实际项目里踩了无数次坑之后固定下来的流程。从那以后我每次部署新的全景图场景都强制先跑一遍掩码质量自检把低分 mask 挑出来单独看基本能提前发现 80% 的翻车情况。希望帮到你。本文还有配套的精品资源点击获取 基于SAM-DINO-CLIP的全景图零样本地物分类与实例分割实战
简介这份资源面向计算机视觉学习者与开发者提供一套基于SAM、DINO与CLIP组合模型的全景图智能处理方案用于解决复杂场景下的地物分类、实例分割与语义识别问题并融入零样本学习与提示工程思路适合具备一定深度学习基础、希望研究多模型协同分割的读者。压缩包共70个文件约3.89MB以54个Python脚本为核心辅以C与CUDA源码、模型头文件、示例图片及说明文档涵盖模型加载、推理流程与自动掩码生成等模块。资源中附有主程序入口、测试图像与结果图以及说明文件和附赠文档便于读者快速理解项目结构、复现分割效果并在此基础上做二次开发。目前已有204人学习可作为全景图像分割与地物分类方向的实践参考。1. 全景图地物分类的痛点为什么单模型总是翻车做过全景图像分割的同行大概率都经历过这种场景一张 360 度全景图丢进普通分割模型建筑物边缘撕裂、道路和草地混成一团、天空被误判成水面。原因不复杂——全景图存在严重的桶形畸变和极点拉伸常规 CNN 感受野在畸变区域完全失效。更麻烦的是地物分类往往需要几十个类别标注成本高到离谱一个新场景就得重新标几千张 mask。这套基于 SAM-DINO-CLIP 组合模型的智能图像处理系统核心思路就是用零样本能力绕开重标注。SAM 负责类无关的精细掩码生成DINO 提供自监督的稠密特征CLIP 做文本-图像对齐实现开放词汇分类。三者串起来全景图场景下的地物分类和实例分割可以做到不训练就能跑。适合做遥感、城市测绘、自动驾驶仿真环境构建的从业者也适合想入门多模态分割的学生。2. 三模型分工拆解SAM 出掩码、DINO 提特征、CLIP 做分类2.1 为什么不能只用 SAM 或只用 CLIP单独用 SAM 的问题在于它只输出「这是什么东西的轮廓」不告诉你「这是什么类别」。你给它一张全景图它能吐出几百个 mask但每个 mask 是建筑还是道路它不知道。单独用 CLIP 的问题反过来——它能判断整张图的语义但没法做像素级定位你问它「图里有没有建筑」它能答你问「建筑在哪几个像素」它就废了。DINO 在这里的角色容易被忽略。很多人以为 SAM CLIP 就够了实际上 DINO 的自监督特征在中间层提供了非常干净的语义边界信息。常见做法是把 DINO 的 patch token 做 PCA 可视化你会发现建筑和道路的聚类边界比原始 RGB 清晰得多。这套系统把 DINO 特征作为 SAM 的 prompt encoder 补充输入掩码质量提升明显。2.2 组合模型的推理链路整个链路分四步走。第一步全景图先做等距柱状投影展开切成重叠 patch。第二步每个 patch 送入 SAM 的 ViT-H 编码器得到 image embedding同时 DINOv2 提取 patch 级特征。第三步用 DINO 特征的聚类中心作为点 prompt 喂给 SAM 的 mask decoder得到类无关掩码。第四步每个掩码区域裁剪出来送 CLIP 图像编码器和预定义的文本 prompt 做相似度匹配取最高分作为类别。import torch import numpy as np from segment_anything import sam_model_registry, SamPredictor from transformers import CLIPProcessor, CLIPModel from torchvision import transforms # 加载三个模型注意 SAM 用 ViT-HDINOv2 用 giant 级别 sam sam_model_registry[vit_h](checkpointsam_vit_h_4b8939.pth).cuda().eval() dino torch.hub.load(facebookresearch/dinov2, dinov2_vitg14).cuda().eval() clip_model CLIPModel.from_pretrained(openai/clip-vit-large-patch14).cuda().eval() clip_proc CLIPProcessor.from_pretrained(openai/clip-vit-large-patch14) # 全景图切 patch重叠 128 像素避免边界断裂 def split_panorama(img, patch1024, overlap128): h, w img.shape[:2] patches, coords [], [] for y in range(0, h, patch - overlap): for x in range(0, w, patch - overlap): p img[y:ypatch, x:xpatch] if p.shape[0] patch or p.shape[1] patch: p np.pad(p, ((0, patch-p.shape[0]), (0, patch-p.shape[1]), (0,0)), modereflect) patches.append(p) coords.append((x, y)) return patches, coords这段代码的关键参数是 patch 大小和 overlap。全景图极点区域畸变最严重patch 太小会导致 SAM 编码器看不到足够上下文太大又显存爆炸。实测 1024 配 128 重叠是 24G 显存下的平衡点。DINOv2 用 giant 而不是 large是因为全景图纹理复杂large 的特征在草地和树林区域区分度不够。2.3 文本 prompt 的设计原则CLIP 分类效果好不好七成看 prompt 怎么写。不要只写「building」要写「aerial view of a building with a flat roof」。全景图视角特殊prompt 里带上视角描述词能显著提升对齐精度。常见做法是为每个类别准备 5-8 个模板推理时取平均 embedding。# 每个类别多模板 prompt取平均更稳 class_prompts { building: [aerial view of a building, top-down view of a roof, residential building from above], road: [a paved road surface, asphalt road seen from above, street pavement texture], vegetation: [green trees and grass, dense vegetation canopy, forest from aerial view], water: [water surface with reflections, lake or river from above, blue water body], } def get_text_embeddings(clip_model, clip_proc, class_prompts): text_embs {} for cls, prompts in class_prompts.items(): inputs clip_proc(textprompts, return_tensorspt, paddingTrue).to(cuda) with torch.no_grad(): emb clip_model.get_text_features(**inputs) emb emb / emb.norm(dim-1, keepdimTrue) text_embs[cls] emb.mean(dim0) # 多模板平均 return text_embs模板平均这个操作看起来简单但在全景图场景下能带来 3-5 个点的 mIoU 提升。原因是单一 prompt 容易过拟合到某个特定纹理多模板平均相当于做了 test-time augmentation。3. 从全景图到分类结果完整推理流程与参数配置3.1 环境搭建与模型权重准备这套系统对显存要求不低SAM ViT-H 本身就要 6G 左右DINOv2 giant 再加 4GCLIP large 约 3G加上中间特征图24G 卡是起步。如果只有 16G可以把 DINOv2 换成 base 版本精度掉 2 个点左右但能跑起来。# 依赖安装注意 segment-anything 要从源码装 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install githttps://github.com/facebookresearch/segment-anything.git pip install transformers4.38.0 timm einops opencv-python pip install githttps://github.com/facebookresearch/dinov2.git # 权重下载后放到 checkpoints 目录 # sam_vit_h_4b8939.pth 约 2.4G # dinov2_vitg14 会自动从 torch hub 拉 # CLIP 从 HuggingFace 拉约 1.7G版本上有个血泪经验transformers 不要用 4.40 以上CLIP 的 get_text_features 接口在 4.40 改了返回格式直接跑会报维度错误。4.38 是验证过最稳的版本。3.2 掩码生成与后处理SAM 输出的掩码是类无关的一张全景图可能出 300-500 个 mask其中大量是碎片。后处理要做三件事按面积过滤掉小于 200 像素的噪声 mask、按 IoU 做 NMS 去重、把重叠 patch 的 mask 拼回全景图坐标系。def postprocess_masks(masks, scores, coords, full_size, min_area200, iou_thresh0.7): # 先按面积过滤 valid [] for m, s, (x, y) in zip(masks, scores, coords): if m.sum() min_area: continue valid.append((m, s, x, y)) # 拼回全景图重叠区域取分数高的 H, W full_size full_mask np.zeros((H, W), dtypenp.int32) full_score np.zeros((H, W), dtypenp.float32) for idx, (m, s, x, y) in enumerate(valid): h, w m.shape region full_score[y:yh, x:xw] update (m 0) (s region) full_mask[y:yh, x:xw][update] idx 1 full_score[y:yh, x:xw][update] s return full_mask, validmin_area 这个参数要看你的全景图分辨率。如果是 8000x4000 的测绘级全景图200 太小建议提到 500。iou_thresh 在 0.7 左右比较平衡太低会误删相邻建筑太高会保留重复 mask。3.3 CLIP 分类与置信度过滤每个 mask 裁剪出来后要做两件事一是把 mask 外的区域用灰色填充避免背景干扰 CLIP 判断二是裁剪区域要 resize 到 224x224这是 CLIP 的标准输入尺寸。def classify_masks(image, full_mask, valid_masks, text_embs, clip_model, clip_proc, conf_thresh0.25): results [] for idx, (m, s, x, y) in enumerate(valid_masks): h, w m.shape crop image[y:yh, x:xw].copy() crop[m 0] 128 # mask 外填灰 crop_pil Image.fromarray(crop).resize((224, 224)) inputs clip_proc(imagescrop_pil, return_tensorspt).to(cuda) with torch.no_grad(): img_emb clip_model.get_image_features(**inputs) img_emb img_emb / img_emb.norm(dim-1, keepdimTrue) best_cls, best_score None, 0 for cls, txt_emb in text_embs.items(): score (img_emb txt_emb.T).item() if score best_score: best_score, best_cls score, cls if best_score conf_thresh: results.append({mask_id: idx1, class: best_cls, score: best_score}) return resultsconf_thresh 设 0.25 是经验值。低于这个值的 mask 大概率是畸变区域的伪影强行分类会拉低整体精度。如果做测绘级应用建议提到 0.3 并人工复核低置信度区域。4. 避坑与排查全景图分割的五个真实翻车现场4.1 极点区域掩码碎裂现象全景图顶部和底部的掩码碎成几十个小块完全没法用。原因等距柱状投影在极点处拉伸最严重SAM 的 ViT 编码器在极端长宽比下位置编码失效。解决极点区域单独做球面投影校正后再切 patch或者直接把极点 15% 区域裁掉不处理。我一般会在预处理阶段加一个纬度掩码超过 75 度纬度的区域降采样处理。4.2 CLIP 把道路认成停车场现象大面积灰色路面被分类成 parking lot 而不是 road。原因CLIP 的 prompt 里 parking lot 和 road 的文本 embedding 余弦相似度高达 0.92模型很难区分。解决在 prompt 里加入区分性描述词road 用「linear paved surface for vehicles」parking lot 用「area with parked cars and marked spaces」。另外可以加一个后处理规则如果 mask 的长宽比大于 3强制归为 road。4.3 显存溢出在 patch 拼接阶段现象单 patch 推理正常拼回全景图时 OOM。原因拼接时把所有 patch 的 mask 同时加载到 GPU 做 NMS显存峰值是推理时的 3 倍。解决NMS 放到 CPU 做用 numpy 实现或者分批拼接。实测 CPU 版 NMS 在 500 个 mask 规模下只要 0.3 秒完全可接受。4.4 DINOv2 特征和 SAM 掩码不对齐现象DINO 聚类中心作为 prompt 喂给 SAM 后掩码反而比随机点 prompt 更差。原因DINOv2 的 patch size 是 14SAM 的 ViT-H patch size 是 16两者特征图分辨率不一致直接映射会偏移。解决把 DINO 特征双线性插值到 SAM 的特征图尺寸再算聚类中心。这个坑很隐蔽因为不报错只是效果差。4.5 文本 prompt 中文支持问题现象用中文 prompt 如「建筑物」时 CLIP 分类精度暴跌。原因OpenAI 的 CLIP 原版在中文上训练数据极少中文 embedding 质量差。解决要么用中文 CLIP 变体如 Chinese-CLIP要么把类别名翻译成英文再编码。我一般直接维护一个中英映射表推理时用英文 prompt输出时映射回中文类别名。5. 进阶技巧用 DINO 特征做掩码质量自检跑通基础流程后怎么判断输出的掩码靠不靠谱总不能每张图都人工看。我摸索出一个用 DINO 特征做自检的方法对每个 mask 区域提取 DINO 特征的均值和方差如果方差超过阈值说明这个 mask 内部特征不一致大概率是过分割或欠分割。def mask_quality_check(dino_feat, mask, var_thresh0.15): # dino_feat: [C, H, W] 已经插值到原图尺寸 # mask: [H, W] 二值掩码 region_feat dino_feat[:, mask 0] # [C, N] if region_feat.shape[1] 10: return 0.0 var region_feat.var(dim1).mean().item() return 1.0 if var var_thresh else 0.0var_thresh 这个阈值需要按场景调。城市建筑场景 0.15 比较合适植被覆盖场景要放宽到 0.25因为树冠本身纹理就复杂。这个自检分数可以作为一个额外输出让下游应用决定是否采信这个 mask。另一个实用技巧是 prompt ensemble 的加权平均。不是所有模板权重都一样可以用少量标注数据学一组权重。哪怕只有 50 张标注图学出来的权重也能让 CLIP 分类精度提升 4-6 个点。具体做法是把每个模板的 embedding 和图像 embedding 算相似度然后用逻辑回归学权重。# 用少量标注数据学 prompt 权重 from sklearn.linear_model import LogisticRegression def learn_prompt_weights(clip_model, clip_proc, images, labels, class_prompts): # images: list of PIL, labels: list of class names feats, targets [], [] for img, lbl in zip(images, labels): inputs clip_proc(imagesimg, return_tensorspt).to(cuda) with torch.no_grad(): img_emb clip_model.get_image_features(**inputs) img_emb img_emb / img_emb.norm(dim-1, keepdimTrue) for cls, prompts in class_prompts.items(): txt_inputs clip_proc(textprompts, return_tensorspt, paddingTrue).to(cuda) with torch.no_grad(): txt_embs clip_model.get_text_features(**txt_inputs) txt_embs txt_embs / txt_embs.norm(dim-1, keepdimTrue) sims (img_emb txt_embs.T).cpu().numpy().flatten() feats.append(sims) targets.append(1 if cls lbl else 0) clf LogisticRegression().fit(feats, targets) return clf.coef_这套自检加权重学习的组合是我在实际项目里踩了无数次坑之后固定下来的流程。从那以后我每次部署新的全景图场景都强制先跑一遍掩码质量自检把低分 mask 挑出来单独看基本能提前发现 80% 的翻车情况。希望帮到你。本文还有配套的精品资源点击获取