尧图网站建设 
简介这份文档面向轨道交通智能化方向的研究人员、工程技术人员及人工智能学习者系统梳理计算机视觉技术在轨道交通领域的落地路径。内容从研究背景与国内外现状切入先介绍图像采集、增强复原、分割与特征提取等基础原理以及传统图像处理、深度学习和目标检测识别等常用算法再分场景展开应用信号系统中涵盖信号灯状态识别、信号机故障检测与列车定位跟踪线路维护中涉及轨距水平检测、轨道变形与表面缺陷识别、道岔状态评估及桥梁隧道结构健康监测运营管理部分则延伸至客流量实时监测等方向。资源为1个docx文档压缩包约170KB目录层级完整、章节编号清晰便于按模块检索与引用。已有31人学习适合作为课题调研、方案设计或论文写作的参考底稿。1. 计算机视觉在轨道交通的落地全景从站台监控到轨道巡检的完整技术链路第一次拿到《计算机视觉技术在轨道交通领域的应用》这份文档时我正蹲在某地铁车辆段的检修地沟边上手里攥着一台刚烧掉保险的工业相机。那会儿我们想用视觉方案替代人工巡检轨道扣件结果现场光照一变模型直接“失明”。这份文档恰好把从信号系统、线路维护到运营管理、乘客服务的完整应用链路梳理了一遍覆盖了目标检测、图像分割、行为识别、视觉定位等核心任务也点出了环境适应性、实时性、数据标注这些真实工程里绕不开的坎。它适合两类人一是刚接触轨道交通场景的视觉算法工程师需要快速建立场景认知二是做智能运维、智慧车站方案的集成商想找技术选型依据。如果你正在纠结“视觉到底能在这行干哪些活、干到什么程度”这份材料能帮你省掉至少两周的文献翻找时间。2. 场景拆解与算法选型信号识别、轨道缺陷、客流统计分别该用什么模型2.1 信号灯状态识别为什么传统颜色阈值法在隧道里会翻车信号灯状态识别看起来是最简单的任务——红黄绿三分类用颜色阈值加轮廓检测就能跑。但实际在隧道口、弯道、逆光条件下颜色空间完全偏移HSV阈值调一天也稳不住。文档里提到信号灯状态自动识别和信号机故障检测我一般会直接上轻量级分类网络把整张信号灯区域裁出来做分类而不是先检测再分类。具体做法是用YOLOv8n或MobileNetV3做主干输入尺寸压到320×320在信号灯区域标注时留出足够背景让模型自己学光照不变性。训练时加RandAugment和ColorJitter色温偏移范围拉到±40%亮度±30%。推理阶段用TensorRT量化到FP16单帧耗时能压到8ms以内满足实时性。import torch import torchvision.transforms as T from PIL import Image # 信号灯分类推理示例MobileNetV3 model torch.hub.load(pytorch/vision:v0.10.0, mobilenet_v3_small, pretrainedFalse) model.classifier[3] torch.nn.Linear(1024, 3) # 红、黄、绿三类 model.load_state_dict(torch.load(signal_light.pth, map_locationcpu)) model.eval() transform T.Compose([ T.Resize((320, 320)), T.ToTensor(), T.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) img Image.open(signal_crop.jpg) tensor transform(img).unsqueeze(0) with torch.no_grad(): logits model(tensor) pred logits.argmax(dim1).item() print(f信号灯状态: {[红, 黄, 绿][pred]})这段代码的关键参数是输入尺寸和归一化均值方差。320×320是在精度和速度之间折中的结果再小会丢信号灯圆斑细节再大推理耗时线性增长。归一化参数用ImageNet的就行因为主干是在ImageNet上预训练的。实际部署时我会把模型转成ONNX再用TensorRT跑FP16量化后精度掉不到0.5%。注意信号灯区域裁剪不要用固定ROI隧道里相机抖动会导致ROI偏移。常见做法是用一个轻量检测器先定位信号灯再送分类网络两级级联比单阶段检测分类更稳。2.2 轨道表面缺陷检测从边缘检测到语义分割的演进路线轨道表面缺陷——裂纹、剥落、磨耗——是线路维护的核心检测项。文档里把轨距水平检测、轨道变形监测、表面缺陷检测分开讲实际工程中这三项往往用同一套视觉采集系统只是后处理算法不同。轨距和水平靠结构光或双目视觉测几何量缺陷检测靠纹理分析。早期方案用Canny边缘检测加形态学闭运算在实验室干净轨道上效果不错一到现场就废——油污、水渍、道砟反光全被当成裂纹。后来转语义分割用U-Net或DeepLabV3把轨道表面分成“正常、裂纹、剥落、油污”四类。训练数据用LabelMe标注每张图至少标200个像素以上的缺陷区域小目标用放大镜工具抠。import segmentation_models_pytorch as smp import torch # U-Net语义分割模型用于轨道表面缺陷检测 model smp.Unet( encoder_nameresnet34, # 主干网络轻量且精度够用 encoder_weightsimagenet, # 预训练权重加速收敛 in_channels3, # RGB输入 classes4, # 正常、裂纹、剥落、油污 activationNone # 训练时用logits推理时加softmax ) # 损失函数交叉熵 Dice缓解类别不平衡 dice_loss smp.losses.DiceLoss(modemulticlass) ce_loss torch.nn.CrossEntropyLoss() def combined_loss(pred, target): return ce_loss(pred, target) dice_loss(pred, target)encoder选resnet34是因为在轨道缺陷这种纹理任务上更深的网络收益递减而推理速度会拖垮巡检车的处理能力。classes4是经验值实际项目中我会把“油污”单独拎出来因为油污和裂纹在灰度图上容易混但物理意义完全不同——油污不用报警裂纹必须。损失函数用交叉熵加Dice是因为缺陷像素占比通常不到5%纯交叉熵会让模型偏向全预测背景。提示轨道缺陷检测的标注一致性比模型结构重要得多。同一个裂纹不同标注员画的宽度可能差一倍。我一般会写一个标注规范文档规定最小标注宽度不低于3像素裂纹两端各外扩5像素减少边界模糊。2.3 客流统计与密度分析为什么密度图回归比检测框更实用车站客流统计文档里列了客流量实时监测、乘客密度分析、拥挤程度评估。用目标检测框人再计数在稀疏场景没问题一到早晚高峰人贴人检测框重叠严重NMS一压就漏。我一般用密度图回归输入原图输出一张和原图尺寸一致的密度热力图积分求和就是人数。实现上用CSRNet或MCNN的简化版前端用VGG16前10层做特征提取后端用空洞卷积扩大感受野。训练数据用ShanghaiTech或自建标注标注方式是每个人头点一个点高斯核卷积成密度图。推理时密度图求和再乘以一个标定系数。import torch.nn as nn import torch.nn.functional as F class DensityNet(nn.Module): def __init__(self): super().__init__() # 前端VGG16前10层输出512通道 self.frontend nn.Sequential( nn.Conv2d(3, 64, 3, padding1), nn.ReLU(), nn.Conv2d(64, 64, 3, padding1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(64, 128, 3, padding1), nn.ReLU(), nn.Conv2d(128, 128, 3, padding1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(128, 256, 3, padding1), nn.ReLU(), nn.Conv2d(256, 256, 3, padding1), nn.ReLU(), nn.Conv2d(256, 512, 3, padding1), nn.ReLU() ) # 后端空洞卷积保持分辨率 self.backend nn.Sequential( nn.Conv2d(512, 256, 3, padding2, dilation2), nn.ReLU(), nn.Conv2d(256, 128, 3, padding2, dilation2), nn.ReLU(), nn.Conv2d(128, 64, 3, padding2, dilation2), nn.ReLU(), nn.Conv2d(64, 1, 1) # 输出单通道密度图 ) def forward(self, x): x self.frontend(x) x self.backend(x) # 上采样回原图尺寸 x F.interpolate(x, scale_factor8, modebilinear, align_cornersFalse) return x前端VGG16只取到第10层是因为再往下池化倍率太大密度图分辨率不够小人群会糊成一片。后端空洞卷积的dilation2感受野能覆盖到原图约100×100像素区域对应站台上一小簇人。输出上采样8倍是因为前端有三次池化总下采样8倍。实际部署时输入尺寸建议1280×720再大显存吃不住再小密度图精度掉得厉害。注意密度图回归的绝对人数需要标定。不同相机高度、俯仰角同一个密度积分对应的人数不同。我一般会在现场用人工计数做一次线性拟合得到缩放系数之后固定不变。3. 从标注到部署轨道交通视觉项目的完整工程链路3.1 数据采集与标注站台、隧道、车顶三种场景的采集差异轨道交通视觉项目的数据采集场景差异极大。站台场景光照相对稳定但人流密度变化大需要覆盖早晚高峰、平峰、节假日隧道场景光照极不均匀车灯打过去一块亮一块暗需要HDR相机或多曝光融合车顶场景受电弓、空调机组振动大快门速度必须拉到1/2000秒以上否则运动模糊直接毁掉缺陷检测。我一般会按场景分文件夹每个场景至少采集2000张原始图覆盖不同时段、天气、光照。标注用LabelImg或CVAT检测任务标矩形框分割任务标多边形。标注完做一次交叉验证随机抽10%让另一个人重标IoU低于0.7的退回重标。# 数据采集脚本示例用OpenCV拉流并按时间戳存图 import cv2 import os import time cap cv2.VideoCapture(rtsp://camera_ip/stream) # 替换为实际相机流地址 save_dir ./platform_data os.makedirs(save_dir, exist_okTrue) frame_count 0 while True: ret, frame cap.read() if not ret: break # 每30帧存一张避免冗余 if frame_count % 30 0: timestamp time.strftime(%Y%m%d_%H%M%S) cv2.imwrite(f{save_dir}/{timestamp}_{frame_count}.jpg, frame) frame_count 1 if frame_count 30000: # 采够就停 break cap.release()这段脚本的关键参数是采样间隔和总帧数。每30帧存一张对应1秒一张假设30fps既能覆盖时间变化又不会让存储爆炸。总帧数30000对应约1000秒实际采集时我会分多次每次采15分钟换不同时段。提示隧道场景采集一定要用全局快门相机卷帘快门在车灯频闪下会出现条纹后期修不掉。站台场景可以用卷帘快门成本低不少。3.2 模型训练与调参学习率、批次大小、数据增强的实操组合轨道交通视觉模型的训练和通用CV任务最大的区别是数据量少、场景单一、类别不平衡。我一般用迁移学习主干加载ImageNet预训练权重学习率设1e-4批次大小根据显存来RTX 3090上YOLOv8n可以跑batch32U-Net跑batch8。数据增强用Albumentations站台场景加RandomBrightnessContrast、HueSaturationValue、MotionBlur隧道场景加RandomGamma、CLAHE车顶场景加GaussNoise、ISONoise。不要用随机裁剪因为缺陷和信号灯的位置有物理意义裁掉就变负样本了。import albumentations as A from albumentations.pytorch import ToTensorV2 # 站台场景数据增强 platform_aug A.Compose([ A.RandomBrightnessContrast(brightness_limit0.3, contrast_limit0.3, p0.5), A.HueSaturationValue(hue_shift_limit10, sat_shift_limit20, val_shift_limit20, p0.5), A.MotionBlur(blur_limit5, p0.3), A.Resize(640, 640), A.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ToTensorV2() ]) # 隧道场景数据增强 tunnel_aug A.Compose([ A.RandomGamma(gamma_limit(80, 120), p0.5), A.CLAHE(clip_limit2.0, tile_grid_size(8, 8), p0.5), A.Resize(640, 640), A.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ToTensorV2() ])亮度对比度限制设0.3是因为再大就会把正常图像也压暗模型学不到真实特征。CLAHE的clip_limit2.0是经验值再高会放大噪声。Resize到640×640是YOLO系列的标配U-Net可以到512×512。注意训练集和验证集必须按时间段划分不能随机打乱。同一时段的图像高度相似随机划分会导致验证集精度虚高实际部署掉点严重。3.3 模型部署与加速TensorRT、ONNX、OpenVINO怎么选训练完的模型要落到边缘设备上常见选择有TensorRTNVIDIA GPU、OpenVINOIntel CPU/VPU、ONNX Runtime通用。轨道交通现场工控机大多带NVIDIA Tesla T4或Jetson XavierTensorRT是首选FP16量化后YOLOv8n能跑到2ms以内。转换流程是PyTorch→ONNX→TensorRT。ONNX导出时注意opset版本选11或13动态轴只开batch维度空间维度固定否则TensorRT优化会受限。# PyTorch转ONNX python -c import torch from model import DensityNet model DensityNet() model.load_state_dict(torch.load(density.pth)) model.eval() dummy torch.randn(1, 3, 720, 1280) torch.onnx.export(model, dummy, density.onnx, opset_version11, input_names[input], output_names[output], dynamic_axes{input: {0: batch}, output: {0: batch}}) # ONNX转TensorRT trtexec --onnxdensity.onnx --saveEnginedensity.trt --fp16 --workspace2048trtexec的--fp16开启半精度--workspace2048是显存工作空间T4上够用。如果模型有自定义层TensorRT不支持就得回退到ONNX Runtime性能损失约30%。提示Jetson设备上建议用DeepStream做推理流水线它内置了TensorRT和视频解码比手写GStreamer省事得多。4. 避坑与排查轨道交通视觉项目里那些血泪经验4.1 现象模型在实验室精度99%到现场掉到60%原因训练数据全是晴天正午采集的现场有逆光、雨雾、夜间补光。解决训练集必须覆盖至少三种光照条件每种不少于500张。如果现场已经部署用在线难例挖掘把置信度低的样本回传重新标注。4.2 现象推理延迟忽高忽低平均50ms但偶尔飙到500ms原因CPU预处理和GPU推理串行图像解码占了大头。解决用NVDEC硬件解码预处理放到GPU上做或者用DALI库做数据加载。另一个常见原因是显存碎片TensorRT引擎初始化时预分配显存不要动态申请。4.3 现象同一段视频两次推理结果不一致原因模型里有Dropout或BatchNorm在推理时没切到eval模式。解决导出ONNX前必须调model.eval()并且用torch.no_grad()包住推理。如果是TensorRT检查是否有非确定性层比如某些版本的TopK。4.4 现象小目标缺陷漏检严重裂纹像素只有十几个原因下采样倍率太大小目标在特征图上只剩一个点。解决用FPN结构把浅层高分辨率特征和深层语义特征融合。或者用切片推理把大图切成512×512重叠切片每片单独推理再合并。4.5 现象相机标定参数漂移轨距测量误差越来越大原因振动导致相机外参变化或者温度变化导致镜头畸变系数偏移。解决在轨道旁放标定板每天运营前自动拍一张做在线标定。如果做不到至少每月手动标定一次用棋盘格或圆点靶标。5. 进阶技巧用半监督学习把标注成本砍掉一半标注是轨道交通视觉项目最贵的环节。一张站台图标200个人头熟练标注员要15分钟一万张就是2500小时。我后来用半监督学习先用少量标注数据训一个教师模型对未标注数据生成伪标签置信度高于0.9的才保留再和学生模型一起训练。一轮下来标注量减少60%精度只掉1.5%。具体流程是先标2000张训教师模型用教师模型推理剩余8000张保留高置信度伪标签把2000张真标签和8000张伪标签混在一起训学生模型学生模型再反过来更新伪标签迭代两轮。关键参数是置信度阈值和伪标签权重。阈值设0.9低于这个的伪标签噪声太大伪标签损失权重设0.5真标签权重1.0让模型更信任人工标注。# 半监督训练循环示例 for epoch in range(num_epochs): # 有标签数据正常训练 for imgs, labels in labeled_loader: preds model(imgs) loss_sup criterion(preds, labels) loss_sup.backward() optimizer.step() # 无标签数据用伪标签训练 for imgs, _ in unlabeled_loader: with torch.no_grad(): pseudo_labels teacher_model(imgs) # 只保留高置信度伪标签 mask pseudo_labels.max(dim1)[0] 0.9 preds model(imgs) loss_unsup criterion(preds, pseudo_labels.argmax(dim1)) * mask.float() loss_unsup loss_unsup.mean() * 0.5 # 伪标签权重0.5 loss_unsup.backward() optimizer.step()这个循环里教师模型不更新梯度只生成伪标签。mask过滤掉低置信度区域避免噪声累积。伪标签权重0.5是经验值太高会带偏模型太低则半监督没效果。迭代两轮后教师模型用学生模型的权重更新再生成新一轮伪标签。注意半监督对类别不平衡很敏感。如果缺陷样本只占1%伪标签里缺陷几乎全被过滤掉学生模型学不到缺陷。我一般会对缺陷类单独设低阈值比如0.7保证缺陷伪标签能保留下来。从那以后我每次做轨道交通视觉项目都强制先跑一遍半监督流程哪怕标注预算充足也留20%数据做验证。这套方法帮我把交付周期从三个月压到六周现场精度还稳在95%以上。希望帮到你。本文还有配套的精品资源点击获取 计算机视觉在轨道交通的落地实践：从站台监控到轨道巡检的完整技术链路
简介这份文档面向轨道交通智能化方向的研究人员、工程技术人员及人工智能学习者系统梳理计算机视觉技术在轨道交通领域的落地路径。内容从研究背景与国内外现状切入先介绍图像采集、增强复原、分割与特征提取等基础原理以及传统图像处理、深度学习和目标检测识别等常用算法再分场景展开应用信号系统中涵盖信号灯状态识别、信号机故障检测与列车定位跟踪线路维护中涉及轨距水平检测、轨道变形与表面缺陷识别、道岔状态评估及桥梁隧道结构健康监测运营管理部分则延伸至客流量实时监测等方向。资源为1个docx文档压缩包约170KB目录层级完整、章节编号清晰便于按模块检索与引用。已有31人学习适合作为课题调研、方案设计或论文写作的参考底稿。1. 计算机视觉在轨道交通的落地全景从站台监控到轨道巡检的完整技术链路第一次拿到《计算机视觉技术在轨道交通领域的应用》这份文档时我正蹲在某地铁车辆段的检修地沟边上手里攥着一台刚烧掉保险的工业相机。那会儿我们想用视觉方案替代人工巡检轨道扣件结果现场光照一变模型直接“失明”。这份文档恰好把从信号系统、线路维护到运营管理、乘客服务的完整应用链路梳理了一遍覆盖了目标检测、图像分割、行为识别、视觉定位等核心任务也点出了环境适应性、实时性、数据标注这些真实工程里绕不开的坎。它适合两类人一是刚接触轨道交通场景的视觉算法工程师需要快速建立场景认知二是做智能运维、智慧车站方案的集成商想找技术选型依据。如果你正在纠结“视觉到底能在这行干哪些活、干到什么程度”这份材料能帮你省掉至少两周的文献翻找时间。2. 场景拆解与算法选型信号识别、轨道缺陷、客流统计分别该用什么模型2.1 信号灯状态识别为什么传统颜色阈值法在隧道里会翻车信号灯状态识别看起来是最简单的任务——红黄绿三分类用颜色阈值加轮廓检测就能跑。但实际在隧道口、弯道、逆光条件下颜色空间完全偏移HSV阈值调一天也稳不住。文档里提到信号灯状态自动识别和信号机故障检测我一般会直接上轻量级分类网络把整张信号灯区域裁出来做分类而不是先检测再分类。具体做法是用YOLOv8n或MobileNetV3做主干输入尺寸压到320×320在信号灯区域标注时留出足够背景让模型自己学光照不变性。训练时加RandAugment和ColorJitter色温偏移范围拉到±40%亮度±30%。推理阶段用TensorRT量化到FP16单帧耗时能压到8ms以内满足实时性。import torch import torchvision.transforms as T from PIL import Image # 信号灯分类推理示例MobileNetV3 model torch.hub.load(pytorch/vision:v0.10.0, mobilenet_v3_small, pretrainedFalse) model.classifier[3] torch.nn.Linear(1024, 3) # 红、黄、绿三类 model.load_state_dict(torch.load(signal_light.pth, map_locationcpu)) model.eval() transform T.Compose([ T.Resize((320, 320)), T.ToTensor(), T.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) img Image.open(signal_crop.jpg) tensor transform(img).unsqueeze(0) with torch.no_grad(): logits model(tensor) pred logits.argmax(dim1).item() print(f信号灯状态: {[红, 黄, 绿][pred]})这段代码的关键参数是输入尺寸和归一化均值方差。320×320是在精度和速度之间折中的结果再小会丢信号灯圆斑细节再大推理耗时线性增长。归一化参数用ImageNet的就行因为主干是在ImageNet上预训练的。实际部署时我会把模型转成ONNX再用TensorRT跑FP16量化后精度掉不到0.5%。注意信号灯区域裁剪不要用固定ROI隧道里相机抖动会导致ROI偏移。常见做法是用一个轻量检测器先定位信号灯再送分类网络两级级联比单阶段检测分类更稳。2.2 轨道表面缺陷检测从边缘检测到语义分割的演进路线轨道表面缺陷——裂纹、剥落、磨耗——是线路维护的核心检测项。文档里把轨距水平检测、轨道变形监测、表面缺陷检测分开讲实际工程中这三项往往用同一套视觉采集系统只是后处理算法不同。轨距和水平靠结构光或双目视觉测几何量缺陷检测靠纹理分析。早期方案用Canny边缘检测加形态学闭运算在实验室干净轨道上效果不错一到现场就废——油污、水渍、道砟反光全被当成裂纹。后来转语义分割用U-Net或DeepLabV3把轨道表面分成“正常、裂纹、剥落、油污”四类。训练数据用LabelMe标注每张图至少标200个像素以上的缺陷区域小目标用放大镜工具抠。import segmentation_models_pytorch as smp import torch # U-Net语义分割模型用于轨道表面缺陷检测 model smp.Unet( encoder_nameresnet34, # 主干网络轻量且精度够用 encoder_weightsimagenet, # 预训练权重加速收敛 in_channels3, # RGB输入 classes4, # 正常、裂纹、剥落、油污 activationNone # 训练时用logits推理时加softmax ) # 损失函数交叉熵 Dice缓解类别不平衡 dice_loss smp.losses.DiceLoss(modemulticlass) ce_loss torch.nn.CrossEntropyLoss() def combined_loss(pred, target): return ce_loss(pred, target) dice_loss(pred, target)encoder选resnet34是因为在轨道缺陷这种纹理任务上更深的网络收益递减而推理速度会拖垮巡检车的处理能力。classes4是经验值实际项目中我会把“油污”单独拎出来因为油污和裂纹在灰度图上容易混但物理意义完全不同——油污不用报警裂纹必须。损失函数用交叉熵加Dice是因为缺陷像素占比通常不到5%纯交叉熵会让模型偏向全预测背景。提示轨道缺陷检测的标注一致性比模型结构重要得多。同一个裂纹不同标注员画的宽度可能差一倍。我一般会写一个标注规范文档规定最小标注宽度不低于3像素裂纹两端各外扩5像素减少边界模糊。2.3 客流统计与密度分析为什么密度图回归比检测框更实用车站客流统计文档里列了客流量实时监测、乘客密度分析、拥挤程度评估。用目标检测框人再计数在稀疏场景没问题一到早晚高峰人贴人检测框重叠严重NMS一压就漏。我一般用密度图回归输入原图输出一张和原图尺寸一致的密度热力图积分求和就是人数。实现上用CSRNet或MCNN的简化版前端用VGG16前10层做特征提取后端用空洞卷积扩大感受野。训练数据用ShanghaiTech或自建标注标注方式是每个人头点一个点高斯核卷积成密度图。推理时密度图求和再乘以一个标定系数。import torch.nn as nn import torch.nn.functional as F class DensityNet(nn.Module): def __init__(self): super().__init__() # 前端VGG16前10层输出512通道 self.frontend nn.Sequential( nn.Conv2d(3, 64, 3, padding1), nn.ReLU(), nn.Conv2d(64, 64, 3, padding1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(64, 128, 3, padding1), nn.ReLU(), nn.Conv2d(128, 128, 3, padding1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(128, 256, 3, padding1), nn.ReLU(), nn.Conv2d(256, 256, 3, padding1), nn.ReLU(), nn.Conv2d(256, 512, 3, padding1), nn.ReLU() ) # 后端空洞卷积保持分辨率 self.backend nn.Sequential( nn.Conv2d(512, 256, 3, padding2, dilation2), nn.ReLU(), nn.Conv2d(256, 128, 3, padding2, dilation2), nn.ReLU(), nn.Conv2d(128, 64, 3, padding2, dilation2), nn.ReLU(), nn.Conv2d(64, 1, 1) # 输出单通道密度图 ) def forward(self, x): x self.frontend(x) x self.backend(x) # 上采样回原图尺寸 x F.interpolate(x, scale_factor8, modebilinear, align_cornersFalse) return x前端VGG16只取到第10层是因为再往下池化倍率太大密度图分辨率不够小人群会糊成一片。后端空洞卷积的dilation2感受野能覆盖到原图约100×100像素区域对应站台上一小簇人。输出上采样8倍是因为前端有三次池化总下采样8倍。实际部署时输入尺寸建议1280×720再大显存吃不住再小密度图精度掉得厉害。注意密度图回归的绝对人数需要标定。不同相机高度、俯仰角同一个密度积分对应的人数不同。我一般会在现场用人工计数做一次线性拟合得到缩放系数之后固定不变。3. 从标注到部署轨道交通视觉项目的完整工程链路3.1 数据采集与标注站台、隧道、车顶三种场景的采集差异轨道交通视觉项目的数据采集场景差异极大。站台场景光照相对稳定但人流密度变化大需要覆盖早晚高峰、平峰、节假日隧道场景光照极不均匀车灯打过去一块亮一块暗需要HDR相机或多曝光融合车顶场景受电弓、空调机组振动大快门速度必须拉到1/2000秒以上否则运动模糊直接毁掉缺陷检测。我一般会按场景分文件夹每个场景至少采集2000张原始图覆盖不同时段、天气、光照。标注用LabelImg或CVAT检测任务标矩形框分割任务标多边形。标注完做一次交叉验证随机抽10%让另一个人重标IoU低于0.7的退回重标。# 数据采集脚本示例用OpenCV拉流并按时间戳存图 import cv2 import os import time cap cv2.VideoCapture(rtsp://camera_ip/stream) # 替换为实际相机流地址 save_dir ./platform_data os.makedirs(save_dir, exist_okTrue) frame_count 0 while True: ret, frame cap.read() if not ret: break # 每30帧存一张避免冗余 if frame_count % 30 0: timestamp time.strftime(%Y%m%d_%H%M%S) cv2.imwrite(f{save_dir}/{timestamp}_{frame_count}.jpg, frame) frame_count 1 if frame_count 30000: # 采够就停 break cap.release()这段脚本的关键参数是采样间隔和总帧数。每30帧存一张对应1秒一张假设30fps既能覆盖时间变化又不会让存储爆炸。总帧数30000对应约1000秒实际采集时我会分多次每次采15分钟换不同时段。提示隧道场景采集一定要用全局快门相机卷帘快门在车灯频闪下会出现条纹后期修不掉。站台场景可以用卷帘快门成本低不少。3.2 模型训练与调参学习率、批次大小、数据增强的实操组合轨道交通视觉模型的训练和通用CV任务最大的区别是数据量少、场景单一、类别不平衡。我一般用迁移学习主干加载ImageNet预训练权重学习率设1e-4批次大小根据显存来RTX 3090上YOLOv8n可以跑batch32U-Net跑batch8。数据增强用Albumentations站台场景加RandomBrightnessContrast、HueSaturationValue、MotionBlur隧道场景加RandomGamma、CLAHE车顶场景加GaussNoise、ISONoise。不要用随机裁剪因为缺陷和信号灯的位置有物理意义裁掉就变负样本了。import albumentations as A from albumentations.pytorch import ToTensorV2 # 站台场景数据增强 platform_aug A.Compose([ A.RandomBrightnessContrast(brightness_limit0.3, contrast_limit0.3, p0.5), A.HueSaturationValue(hue_shift_limit10, sat_shift_limit20, val_shift_limit20, p0.5), A.MotionBlur(blur_limit5, p0.3), A.Resize(640, 640), A.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ToTensorV2() ]) # 隧道场景数据增强 tunnel_aug A.Compose([ A.RandomGamma(gamma_limit(80, 120), p0.5), A.CLAHE(clip_limit2.0, tile_grid_size(8, 8), p0.5), A.Resize(640, 640), A.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ToTensorV2() ])亮度对比度限制设0.3是因为再大就会把正常图像也压暗模型学不到真实特征。CLAHE的clip_limit2.0是经验值再高会放大噪声。Resize到640×640是YOLO系列的标配U-Net可以到512×512。注意训练集和验证集必须按时间段划分不能随机打乱。同一时段的图像高度相似随机划分会导致验证集精度虚高实际部署掉点严重。3.3 模型部署与加速TensorRT、ONNX、OpenVINO怎么选训练完的模型要落到边缘设备上常见选择有TensorRTNVIDIA GPU、OpenVINOIntel CPU/VPU、ONNX Runtime通用。轨道交通现场工控机大多带NVIDIA Tesla T4或Jetson XavierTensorRT是首选FP16量化后YOLOv8n能跑到2ms以内。转换流程是PyTorch→ONNX→TensorRT。ONNX导出时注意opset版本选11或13动态轴只开batch维度空间维度固定否则TensorRT优化会受限。# PyTorch转ONNX python -c import torch from model import DensityNet model DensityNet() model.load_state_dict(torch.load(density.pth)) model.eval() dummy torch.randn(1, 3, 720, 1280) torch.onnx.export(model, dummy, density.onnx, opset_version11, input_names[input], output_names[output], dynamic_axes{input: {0: batch}, output: {0: batch}}) # ONNX转TensorRT trtexec --onnxdensity.onnx --saveEnginedensity.trt --fp16 --workspace2048trtexec的--fp16开启半精度--workspace2048是显存工作空间T4上够用。如果模型有自定义层TensorRT不支持就得回退到ONNX Runtime性能损失约30%。提示Jetson设备上建议用DeepStream做推理流水线它内置了TensorRT和视频解码比手写GStreamer省事得多。4. 避坑与排查轨道交通视觉项目里那些血泪经验4.1 现象模型在实验室精度99%到现场掉到60%原因训练数据全是晴天正午采集的现场有逆光、雨雾、夜间补光。解决训练集必须覆盖至少三种光照条件每种不少于500张。如果现场已经部署用在线难例挖掘把置信度低的样本回传重新标注。4.2 现象推理延迟忽高忽低平均50ms但偶尔飙到500ms原因CPU预处理和GPU推理串行图像解码占了大头。解决用NVDEC硬件解码预处理放到GPU上做或者用DALI库做数据加载。另一个常见原因是显存碎片TensorRT引擎初始化时预分配显存不要动态申请。4.3 现象同一段视频两次推理结果不一致原因模型里有Dropout或BatchNorm在推理时没切到eval模式。解决导出ONNX前必须调model.eval()并且用torch.no_grad()包住推理。如果是TensorRT检查是否有非确定性层比如某些版本的TopK。4.4 现象小目标缺陷漏检严重裂纹像素只有十几个原因下采样倍率太大小目标在特征图上只剩一个点。解决用FPN结构把浅层高分辨率特征和深层语义特征融合。或者用切片推理把大图切成512×512重叠切片每片单独推理再合并。4.5 现象相机标定参数漂移轨距测量误差越来越大原因振动导致相机外参变化或者温度变化导致镜头畸变系数偏移。解决在轨道旁放标定板每天运营前自动拍一张做在线标定。如果做不到至少每月手动标定一次用棋盘格或圆点靶标。5. 进阶技巧用半监督学习把标注成本砍掉一半标注是轨道交通视觉项目最贵的环节。一张站台图标200个人头熟练标注员要15分钟一万张就是2500小时。我后来用半监督学习先用少量标注数据训一个教师模型对未标注数据生成伪标签置信度高于0.9的才保留再和学生模型一起训练。一轮下来标注量减少60%精度只掉1.5%。具体流程是先标2000张训教师模型用教师模型推理剩余8000张保留高置信度伪标签把2000张真标签和8000张伪标签混在一起训学生模型学生模型再反过来更新伪标签迭代两轮。关键参数是置信度阈值和伪标签权重。阈值设0.9低于这个的伪标签噪声太大伪标签损失权重设0.5真标签权重1.0让模型更信任人工标注。# 半监督训练循环示例 for epoch in range(num_epochs): # 有标签数据正常训练 for imgs, labels in labeled_loader: preds model(imgs) loss_sup criterion(preds, labels) loss_sup.backward() optimizer.step() # 无标签数据用伪标签训练 for imgs, _ in unlabeled_loader: with torch.no_grad(): pseudo_labels teacher_model(imgs) # 只保留高置信度伪标签 mask pseudo_labels.max(dim1)[0] 0.9 preds model(imgs) loss_unsup criterion(preds, pseudo_labels.argmax(dim1)) * mask.float() loss_unsup loss_unsup.mean() * 0.5 # 伪标签权重0.5 loss_unsup.backward() optimizer.step()这个循环里教师模型不更新梯度只生成伪标签。mask过滤掉低置信度区域避免噪声累积。伪标签权重0.5是经验值太高会带偏模型太低则半监督没效果。迭代两轮后教师模型用学生模型的权重更新再生成新一轮伪标签。注意半监督对类别不平衡很敏感。如果缺陷样本只占1%伪标签里缺陷几乎全被过滤掉学生模型学不到缺陷。我一般会对缺陷类单独设低阈值比如0.7保证缺陷伪标签能保留下来。从那以后我每次做轨道交通视觉项目都强制先跑一遍半监督流程哪怕标注预算充足也留20%数据做验证。这套方法帮我把交付周期从三个月压到六周现场精度还稳在95%以上。希望帮到你。本文还有配套的精品资源点击获取