ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

DINOv3 卫星影像应用指南:不用微调,GEO-Bench 分类平均 81.1% 怎么做到的?

DINOv3 卫星影像应用指南:不用微调,GEO-Bench 分类平均 81.1% 怎么做到的? DINOv3 卫星影像应用指南不用微调GEO-Bench 分类平均 81.1% 怎么做到的【免费下载链接】dinov3Reference PyTorch implementation and models for DINOv3项目地址: https://gitcode.com/GitHub_Trending/di/dinov3DINOv3 是 Meta AI 的自监督视觉基础模型能直接从卫星影像提取密集特征适合做影像分类、分割等任务的开发者。在 Maxar 卫星影像预训练的 SAT-493M 版本GEO-Bench 分割平均精度做到 75.0%。它解决了什么问题拿到一批新的卫星影像想区分地块里种的是玉米还是大豆。传统做法是先人工标几千张图再训练一个分类器换个地区、换个作物还得从头标。标注贵、周期长而且换个场景就失效。DINOv3 的思路是先在海量影像上自学学到通用特征后再去适配具体任务把标注成本压到很低。项目里针对卫星场景专门提供了在 SAT-493M 数据集上预训练的权重这个数据集有4.93 亿张 512×512 图像来自 Maxar RGB 正射影像分辨率0.6 米。为什么现在值得看自学特征自监督预训练让模型像自己出题、自己批改的学生不需要人工标签就能学到通用视觉特征适配新任务时几乎可以跳过标注环节。线性探针即可GEO-Bench 上的成绩来自 k-NN 和逻辑回归这类简单分类器不依赖端到端微调换个数据集基本是改几行配置的事。规格全覆盖整个家族从21M参数的 ViT-S/16 到6,716M约 6.7B参数的 ViT-7B/16另有 ConvNeXt 系列29M~198M从单卡笔记本到集群都能找到合适档位。配套完整仓库包含预训练权重加载、线性探针、k-NN、语义分割、深度估计的评估代码以及 dino.txt 开放词汇分割等推理 notebook。实际表现有多能打以下数字均来自 MODEL_CARD.md 中 SAT-493M 权重的结果GEO-Bench 分类看准确率分割看精度模型m-BEnetm-brick-kilnm-eurosatm-forestnetm-pv4germ-so2sat分类平均ViT-L/1673.096.594.160.696.057.479.6ViT-7B/1674.097.294.862.396.162.181.1模型m-cashewm-chesapeakem-NeonTreem-nz-cattlem-pv4ger-segm-SA-crop分割平均ViT-L/1694.275.661.883.795.236.874.5ViT-7B/1694.176.662.683.495.537.675.0三步跑起来权重获取后加载和推理大约就是下面这一步import torch from torchvision.transforms import v2 model torch.hub.load(REPO_DIR, dinov3_vitl16, sourcelocal, weightsSAT493M权重的URL或本地路径) transform v2.Compose([ v2.ToImage(), v2.Resize((512, 512), antialiasTrue), v2.ToDtype(torch.float32, scaleTrue), v2.Normalize(mean(0.430, 0.411, 0.296), std(0.213, 0.156, 0.143)), ]) features model(transform(your_satellite_image.jpg))剩下两步很简单一是按仓库说明申请并下载权重二是把上一步的REPO_DIR和weights换成你的实际路径。需要 clone 的话仓库地址是https://gitcode.com/GitHub_Trending/di/dinov3。注意卫星权重和网络权重用的归一化参数不同别混用分类任务再配一个 k-NN 或逻辑回归分类器就够了。能用在哪些地方农业地块监测对田块影像跑线性探针快速区分作物类型和长势不用为每个县重新标数据。森林制图仓库里的 CHMv2 基于 DINOv3 卫星权重做树冠高度估计可直接借鉴其推理流程。城市与地物分割用 m-chesapeake、m-SA-crop 这类场景验证过的分割能力识别建筑、道路和土地利用类型。局限与注意事项规格受限SAT-493M 权重只有ViT-L/16300M和ViT-7B/166,716M两档更小的 ViT-S/B 只有网络权重版本无法替代。大模型显存压力6,716M 参数的模型推理需要相当大的显存先用 ViT-L 验证流程确认有价值再上 7B。权重需申请模型文件要通过 Meta 官方页面申请访问后下载且官方提醒用wget而不是浏览器。训练成本参考7B 模型预训练消耗61,440 小时 H100、约18 吨 CO2eq复现级别的训练不在个人预算范围内实际使用请直接用官方权重。收尾与资源如果你的任务是从卫星影像里挖信息建议先用 SAT-493M 的ViT-L/16加线性探针跑一轮基线多数情况下这就超过了从头训练的专用小模型。更多细节看 MODEL_CARD.md 的架构与基准说明以及 README.md 中预训练头分类、分割、深度的下载清单。【免费下载链接】dinov3Reference PyTorch implementation and models for DINOv3项目地址: https://gitcode.com/GitHub_Trending/di/dinov3创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表