尧图网站建设 
简介这份资源是面向深度学习课程期末大作业、毕业设计及机器学习入门者打造的仪表读数识别完整项目包聚焦工业场景中指针与数字仪表自动读数这一典型计算机视觉任务帮助读者用卷积神经网络替代低效易错的人工抄表流程。压缩包共11个文件、约16.65MB以5个Python脚本为核心覆盖直线与圆检测、关键点匹配、透视变换、图像缩放等预处理与识别环节另含3个pt模型权重文件及requirements.txt、README.md、.gitignore等配置说明便于环境复现与版本管理。目前已有75人学习下载。项目按数据预处理、模型训练、测试评估到部署推理的完整链路组织并保留old_code目录供对照实验思路读者可据此掌握从图像标准化到读数输出的全流程实现理解CNN在仪表识别中的落地方式并借助现成权重快速验证效果适合作为课程作业参考或视觉项目练手素材。1. 仪表读数识别为什么总在「最后 5%」翻车工业现场做巡检的朋友大概率都遇到过这种场景指针表、数显表、油温表混在同一个配电柜里人工抄表一天两次数据滞后不说夜班还容易抄错。于是很多人第一反应就是上深度学习搞一个仪表读数识别模型把摄像头拍到的表盘自动转成数字。听起来是个标准的图像识别任务但真正落地时你会发现模型在测试集上 mAP 能到 0.95一到现场就各种翻车——指针表反光、数显表七段码缺笔画、表盘倾斜、光照突变这些才是吃掉最后 5% 精度的元凶。这个方向值不值得做我的判断是值得但前提是你把它当成一个「检测 矫正 读数」的流水线而不是一个端到端的分类模型。适合谁做做电力巡检、石化厂区、智能制造产线的算法工程师或者正在找深度学习实战项目案例的学生。下面我按自己实际搭过的一套方案把从数据标注到部署推理的完整路径拆开讲包括那些让我熬夜排查的血泪坑。2. 先分清表型再谈模型指针表与数显表的识别路线差异2.1 为什么不能用一个模型通吃所有仪表仪表读数识别本质上分两大类指针式仪表和数字式仪表。指针表的核心是找到指针的旋转角度再通过角度到量程的线性映射算出读数数显表的核心是定位数字区域然后做字符识别。这两条路线的网络结构、损失函数、后处理逻辑完全不同。如果你硬用一个检测模型去框「表盘」然后接一个通用 OCR指针表会直接失效——因为指针不是文字OCR 根本读不出来。反过来如果你用关键点检测去拟合数显表的七段码也会因为数字笔画太细导致关键点漂移。所以第一步不是选 backbone而是按表型分流。常见做法是先训练一个仪表类型分类器指针 / 数显 / 其他置信度高于阈值再送入对应分支。这个分类器不需要很深ResNet18 或 MobileNetV3 足够输入尺寸 224×224类别数按你现场表型数量定。我一般会把它和检测模型串在同一个推理图里避免多次 IO。2.2 指针表从表盘检测到指针角度回归指针表的读数精度取决于两个环节表盘关键点定位和指针直线拟合。表盘关键点通常取表盘圆心、刻度起点、刻度终点、量程中点这四个点用 HRNet 或 SimpleBaseline 做热力图回归。得到圆心后指针角度可以通过霍夫变换或语义分割得到。下面是我常用的指针角度计算代码基于 OpenCV 和 NumPyimport cv2 import numpy as np def get_pointer_angle(image, center, radius): 在表盘区域内提取指针并计算角度 image: 原始表盘裁剪图 center: 表盘圆心 (x, y) radius: 表盘半径 # 转灰度并做自适应阈值抑制反光 gray cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) gray cv2.medianBlur(gray, 5) thresh cv2.adaptiveThreshold(gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV, 11, 2) # 只保留表盘圆形区域内的像素 mask np.zeros_like(thresh) cv2.circle(mask, center, int(radius * 0.9), 255, -1) thresh cv2.bitwise_and(thresh, mask) # 霍夫直线检测指针通常是最长的那条 lines cv2.HoughLinesP(thresh, 1, np.pi / 180, threshold50, minLineLengthradius * 0.3, maxLineGap10) if lines is None: return None # 筛选经过圆心附近的直线 best_line None min_dist float(inf) for line in lines: x1, y1, x2, y2 line[0] # 计算直线到圆心的距离 A y2 - y1 B x1 - x2 C x2 * y1 - x1 * y2 dist abs(A * center[0] B * center[1] C) / np.sqrt(A**2 B**2) if dist min_dist: min_dist dist best_line (x1, y1, x2, y2) if best_line is None: return None x1, y1, x2, y2 best_line # 计算指针方向以圆心为原点 angle np.arctan2(y2 - center[1], x2 - center[0]) return np.degrees(angle)这段代码的逻辑是先做自适应阈值把指针从表盘背景里分离出来再用霍夫变换找直线最后筛选出离圆心最近的那条作为指针。参数说明minLineLength设为半径的 0.3 倍是为了过滤刻度线maxLineGap控制断线合并反光严重时可以把threshold从 50 降到 30。注意霍夫变换对噪声很敏感如果现场油污多建议先做一次颜色空间转换用 HSV 里的 V 通道做阈值比灰度更稳。2.3 数显表七段码字符的检测与识别数显表的难点在于七段码数字的笔画细、对比度低而且经常有玻璃反光。我一般用两种方案方案 A是目标检测框出每个数字再送一个小 CNN 分类 0-9方案 B是直接做语义分割把七段码的每个段作为一个类别最后按段组合成数字。方案 A 更通用标注成本低用 YOLOv8n 就能跑。下面是一个数据增强的配置片段针对数显表反光和倾斜import albumentations as A train_transform A.Compose([ A.RandomBrightnessContrast(brightness_limit0.3, contrast_limit0.3, p0.7), A.HueSaturationValue(hue_shift_limit10, sat_shift_limit20, val_shift_limit20, p0.5), A.GaussNoise(var_limit(10.0, 50.0), p0.3), A.MotionBlur(blur_limit5, p0.2), A.RandomShadow(shadow_roi(0, 0.5, 1, 1), num_shadows_lower1, num_shadows_upper2, p0.3), A.ShiftScaleRotate(shift_limit0.05, scale_limit0.1, rotate_limit10, p0.5), A.Resize(640, 640), ])参数说明RandomShadow模拟柜内阴影MotionBlur模拟巡检机器人移动时的模糊rotate_limit10是因为现场摄像头安装通常不会完全水平。这里有个坑不要用水平翻转因为七段码数字翻转后语义变了比如 6 翻转后像 9会导致标签错误。3. 从标注到训练仪表读数识别的数据工程细节3.1 标注规范关键点、检测框和读数值怎么标数据标注是仪表读数识别里最容易被低估的环节。我见过太多团队直接拿公开数据集训结果现场精度惨不忍睹。正确的做法是按表型分别制定标注规范。指针表需要标四类关键点圆心、刻度起点、刻度终点、指针尖端。如果表盘有多个刻度圈还要标出主刻度对应的量程值。数显表需要标每个数字的检测框和对应的字符类别。另外每张图要记录一个元数据光照条件强光/正常/暗光、拍摄角度正对/倾斜、表盘类型。下面是一个标注文件的 JSON 结构示例{ image_id: meter_001.jpg, meter_type: pointer, keypoints: { center: [320, 240], scale_start: [200, 240], scale_end: [440, 240], pointer_tip: [380, 180] }, range: {min: 0, max: 100, unit: MPa}, condition: {light: normal, angle: frontal} }这个结构的好处是后处理时可以直接用range做角度到读数的映射不需要再查表。注意pointer_tip和center的连线角度要归一化到刻度起止角度之间否则会出现负值。3.2 训练集划分为什么不能随机分随机划分训练集和验证集在仪表读数识别里是个大坑。因为同一块表在不同光照下的图片高度相似随机划分会导致验证集里出现训练集的「近邻」精度虚高。正确的做法是按表盘 ID 划分同一块表的所有图片要么全在训练集要么全在验证集。我一般按 7:2:1 划分并且保证验证集里至少包含 20% 的暗光和倾斜样本。如果现场表型超过 10 种还要做分层采样避免某些表型在验证集里缺失。下面是一个按表盘 ID 划分的脚本import os import random from collections import defaultdict def split_by_meter_id(data_dir, train_ratio0.7, val_ratio0.2): meter_ids defaultdict(list) for fname in os.listdir(data_dir): # 假设文件名格式为 meterID_xxx.jpg meter_id fname.split(_)[0] meter_ids[meter_id].append(fname) ids list(meter_ids.keys()) random.shuffle(ids) n_train int(len(ids) * train_ratio) n_val int(len(ids) * val_ratio) train_ids ids[:n_train] val_ids ids[n_train:n_train n_val] test_ids ids[n_train n_val:] return train_ids, val_ids, test_ids逻辑说明先按文件名前缀聚合保证同一块表的所有图片进入同一个集合。参数train_ratio和val_ratio根据数据量调整如果表盘数量少于 50建议改成 8:1:1避免验证集太小。3.3 损失函数选择角度回归用 Smooth L1 还是 CSL指针角度回归有个特殊问题角度是周期性的359° 和 1° 实际只差 2°但欧氏距离很大。常见做法有两种一是用 Smooth L1 直接回归 sin 和 cos 值二是用 Circular Smooth LabelCSL把角度分类。我实测下来CSL 在小角度误差要求下更稳尤其是当指针接近刻度起点时。CSL 把 360° 分成 180 个 bin每个 bin 用高斯窗口做软标签避免边界突变。下面是 CSL 的标签生成代码import numpy as np def circular_smooth_label(angle, num_bins180, sigma3): 生成 CSL 软标签 angle: 真实角度单位度 num_bins: 角度分箱数 sigma: 高斯窗口标准差 angle angle % 360 bin_width 360 / num_bins center_bin angle / bin_width labels np.zeros(num_bins) for i in range(num_bins): # 计算循环距离 dist min(abs(i - center_bin), num_bins - abs(i - center_bin)) labels[i] np.exp(-(dist ** 2) / (2 * sigma ** 2)) labels labels / labels.sum() return labels参数说明num_bins180对应 2° 的分辨率sigma3控制软标签的平滑程度。如果现场对读数精度要求到 0.5°可以把num_bins提到 360。注意 CSL 的输出是概率分布推理时取 argmax 再乘 bin_width 得到角度。4. 推理部署把模型塞进边缘盒子要过的几道坎4.1 模型量化与 TensorRT 加速训练完的模型如果直接跑在 Jetson 或瑞芯微上FP32 推理一帧可能要 200ms根本达不到实时。我一般用 TensorRT 做 FP16 或 INT8 量化。以 YOLOv8 为例导出 ONNX 后再用 trtexec 转换# 导出 ONNX yolo export modelbest.pt formatonnx opset12 simplifyTrue # TensorRT FP16 转换 trtexec --onnxbest.onnx \ --saveEnginebest_fp16.engine \ --fp16 \ --workspace2048 \ --minShapesimages:1x3x640x640 \ --optShapesimages:4x3x640x640 \ --maxShapesimages:8x3x640x640参数说明--fp16开启半精度--workspace是显存上限--minShapes到--maxShapes定义动态 batch。注意 INT8 量化需要校准集建议从验证集里抽 200 张覆盖各种光照的图做校准否则精度掉得厉害。4.2 后处理角度到读数的映射与异常过滤模型输出角度后还要做一步映射才能得到读数。公式很简单reading min (angle - angle_start) / (angle_end - angle_start) * (max - min)。但实际现场会有指针抖动、遮挡、反光导致的角度跳变所以需要加异常过滤。我常用的策略是连续 5 帧取中位数如果某一帧角度偏离中位数超过 15°直接丢弃。另外如果指针角度落在刻度起止范围之外说明检测失败返回空值而不是硬算。下面是一个后处理示例import numpy as np from collections import deque class ReadingSmoother: def __init__(self, window_size5, max_deviation15): self.buffer deque(maxlenwindow_size) self.max_deviation max_deviation def update(self, angle): if angle is None: return None self.buffer.append(angle) if len(self.buffer) 3: return None median np.median(self.buffer) if abs(angle - median) self.max_deviation: return None return median def to_reading(self, angle, angle_start, angle_end, val_min, val_max): if angle is None: return None if angle angle_start or angle angle_end: return None ratio (angle - angle_start) / (angle_end - angle_start) return val_min ratio * (val_max - val_min)逻辑说明ReadingSmoother维护一个滑动窗口用中位数抗抖动max_deviation过滤突变。to_reading里先判断角度是否在有效范围内再线性映射。注意角度起止要按顺时针方向归一化否则会出现负值。5. 避坑指南仪表读数识别落地时最容易踩的 5 个坑5.1 反光导致指针断裂霍夫变换找不到直线现象表盘玻璃反光指针在图像里断成两截霍夫变换检测不到完整直线角度输出为空。原因自适应阈值对高亮区域不敏感反光区域的像素被误判为背景。解决在预处理阶段加一步镜面反射检测用 HSV 的 V 通道做阈值V 240 的区域直接掩膜掉再用 inpaint 修复。或者改用语义分割模型直接分割指针对断裂更鲁棒。5.2 数显表七段码「8」缺段被识别成「0」现象数显表老化某些段亮度不足模型把「8」识别成「0」或「6」。原因训练集里缺少缺段样本模型没见过这种退化情况。解决在数据增强里加随机遮挡模拟段缺失。具体做法是在七段码区域随机选 1-2 个段涂黑概率设 0.2。另外推理时可以用七段码的几何约束做后处理比如「8」必须七段全亮如果检测到只有六段亮按亮度排序补全。5.3 表盘倾斜导致关键点回归偏移现象摄像头安装角度偏了 10°圆心关键点偏移角度计算整体偏差 5° 以上。原因关键点回归模型对旋转敏感训练时没有足够的倾斜样本。解决训练时加ShiftScaleRotate旋转范围设 ±15°。推理时先用表盘检测框做透视矫正把表盘转正再送关键点模型。矫正可以用表盘外框的四个角点做单应性变换。5.4 小目标数字检测漏检现象数显表数字在整图里只占 20×30 像素YOLO 漏检严重。原因输入尺寸 640 下采样 32 倍后数字特征几乎消失。解决改用切片推理把表盘区域裁出来单独送模型或者用高分辨率输入1280×1280配合 P2 小目标检测头。我一般会在检测前加一个表盘定位模型先裁表盘再读数。5.5 训练集和现场分布不一致导致精度骤降现象实验室测试 mAP 0.95现场只有 0.6。原因训练集光照单一现场有逆光、阴影、油污。解决做一轮现场数据回捞至少覆盖早中晚三个时段和晴阴两种天气。如果现场数据标注成本高可以用半监督学习先用模型伪标人工修正后加入训练集。6. 用测试时增强和置信度校准把读数误差压到 1% 以内最后一章聊一个我实际用下来最有效的技巧测试时增强TTA加置信度校准。很多人训完模型就直接推理其实推理阶段还有不少免费精度可以捡。TTA 的做法很简单对同一张图做多种变换水平翻转除外原因前面说过分别推理后取平均。对指针角度可以把原图、亮度增强图、对比度增强图的角度输出做圆均值对数显表可以把原图和轻微旋转图检测框做 NMS 融合。下面是一个角度圆均值的实现import numpy as np def circular_mean(angles_deg): 计算角度的圆均值避免 359 和 1 平均成 180 angles_deg: 角度列表单位度 angles_rad np.deg2rad(angles_deg) sin_sum np.sin(angles_rad).mean() cos_sum np.cos(angles_rad).mean() mean_angle np.rad2deg(np.arctan2(sin_sum, cos_sum)) return mean_angle % 360这个函数把角度转成 sin 和 cos 分别平均再转回角度能正确处理跨 0° 的情况。参数上TTA 的变换数量建议 3-5 种太多会拖慢推理。如果边缘盒子算力紧张可以只保留亮度增强这一种。置信度校准则是解决「模型过度自信」的问题。我一般用温度缩放Temperature Scaling在验证集上拟合一个温度参数 T推理时把 logits 除以 T 再 softmax。T 通常取 1.5-2.5 之间能让置信度更接近真实准确率。这样做的直接好处是你可以设一个合理的阈值比如 0.7来触发人工复核而不是被虚高的 0.99 骗过去。最后说个我自己的习惯每次现场部署前我会拿 50 张「最脏」的图——反光、油污、倾斜、暗光——单独跑一遍如果这 50 张的读数误差能控制在 1% 以内才敢上线。这个习惯帮我省了好几次半夜被叫去现场排查的麻烦。希望帮到你。本文还有配套的精品资源点击获取 工业仪表读数识别实战：从指针表到数显表的深度学习落地避坑指南
简介这份资源是面向深度学习课程期末大作业、毕业设计及机器学习入门者打造的仪表读数识别完整项目包聚焦工业场景中指针与数字仪表自动读数这一典型计算机视觉任务帮助读者用卷积神经网络替代低效易错的人工抄表流程。压缩包共11个文件、约16.65MB以5个Python脚本为核心覆盖直线与圆检测、关键点匹配、透视变换、图像缩放等预处理与识别环节另含3个pt模型权重文件及requirements.txt、README.md、.gitignore等配置说明便于环境复现与版本管理。目前已有75人学习下载。项目按数据预处理、模型训练、测试评估到部署推理的完整链路组织并保留old_code目录供对照实验思路读者可据此掌握从图像标准化到读数输出的全流程实现理解CNN在仪表识别中的落地方式并借助现成权重快速验证效果适合作为课程作业参考或视觉项目练手素材。1. 仪表读数识别为什么总在「最后 5%」翻车工业现场做巡检的朋友大概率都遇到过这种场景指针表、数显表、油温表混在同一个配电柜里人工抄表一天两次数据滞后不说夜班还容易抄错。于是很多人第一反应就是上深度学习搞一个仪表读数识别模型把摄像头拍到的表盘自动转成数字。听起来是个标准的图像识别任务但真正落地时你会发现模型在测试集上 mAP 能到 0.95一到现场就各种翻车——指针表反光、数显表七段码缺笔画、表盘倾斜、光照突变这些才是吃掉最后 5% 精度的元凶。这个方向值不值得做我的判断是值得但前提是你把它当成一个「检测 矫正 读数」的流水线而不是一个端到端的分类模型。适合谁做做电力巡检、石化厂区、智能制造产线的算法工程师或者正在找深度学习实战项目案例的学生。下面我按自己实际搭过的一套方案把从数据标注到部署推理的完整路径拆开讲包括那些让我熬夜排查的血泪坑。2. 先分清表型再谈模型指针表与数显表的识别路线差异2.1 为什么不能用一个模型通吃所有仪表仪表读数识别本质上分两大类指针式仪表和数字式仪表。指针表的核心是找到指针的旋转角度再通过角度到量程的线性映射算出读数数显表的核心是定位数字区域然后做字符识别。这两条路线的网络结构、损失函数、后处理逻辑完全不同。如果你硬用一个检测模型去框「表盘」然后接一个通用 OCR指针表会直接失效——因为指针不是文字OCR 根本读不出来。反过来如果你用关键点检测去拟合数显表的七段码也会因为数字笔画太细导致关键点漂移。所以第一步不是选 backbone而是按表型分流。常见做法是先训练一个仪表类型分类器指针 / 数显 / 其他置信度高于阈值再送入对应分支。这个分类器不需要很深ResNet18 或 MobileNetV3 足够输入尺寸 224×224类别数按你现场表型数量定。我一般会把它和检测模型串在同一个推理图里避免多次 IO。2.2 指针表从表盘检测到指针角度回归指针表的读数精度取决于两个环节表盘关键点定位和指针直线拟合。表盘关键点通常取表盘圆心、刻度起点、刻度终点、量程中点这四个点用 HRNet 或 SimpleBaseline 做热力图回归。得到圆心后指针角度可以通过霍夫变换或语义分割得到。下面是我常用的指针角度计算代码基于 OpenCV 和 NumPyimport cv2 import numpy as np def get_pointer_angle(image, center, radius): 在表盘区域内提取指针并计算角度 image: 原始表盘裁剪图 center: 表盘圆心 (x, y) radius: 表盘半径 # 转灰度并做自适应阈值抑制反光 gray cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) gray cv2.medianBlur(gray, 5) thresh cv2.adaptiveThreshold(gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV, 11, 2) # 只保留表盘圆形区域内的像素 mask np.zeros_like(thresh) cv2.circle(mask, center, int(radius * 0.9), 255, -1) thresh cv2.bitwise_and(thresh, mask) # 霍夫直线检测指针通常是最长的那条 lines cv2.HoughLinesP(thresh, 1, np.pi / 180, threshold50, minLineLengthradius * 0.3, maxLineGap10) if lines is None: return None # 筛选经过圆心附近的直线 best_line None min_dist float(inf) for line in lines: x1, y1, x2, y2 line[0] # 计算直线到圆心的距离 A y2 - y1 B x1 - x2 C x2 * y1 - x1 * y2 dist abs(A * center[0] B * center[1] C) / np.sqrt(A**2 B**2) if dist min_dist: min_dist dist best_line (x1, y1, x2, y2) if best_line is None: return None x1, y1, x2, y2 best_line # 计算指针方向以圆心为原点 angle np.arctan2(y2 - center[1], x2 - center[0]) return np.degrees(angle)这段代码的逻辑是先做自适应阈值把指针从表盘背景里分离出来再用霍夫变换找直线最后筛选出离圆心最近的那条作为指针。参数说明minLineLength设为半径的 0.3 倍是为了过滤刻度线maxLineGap控制断线合并反光严重时可以把threshold从 50 降到 30。注意霍夫变换对噪声很敏感如果现场油污多建议先做一次颜色空间转换用 HSV 里的 V 通道做阈值比灰度更稳。2.3 数显表七段码字符的检测与识别数显表的难点在于七段码数字的笔画细、对比度低而且经常有玻璃反光。我一般用两种方案方案 A是目标检测框出每个数字再送一个小 CNN 分类 0-9方案 B是直接做语义分割把七段码的每个段作为一个类别最后按段组合成数字。方案 A 更通用标注成本低用 YOLOv8n 就能跑。下面是一个数据增强的配置片段针对数显表反光和倾斜import albumentations as A train_transform A.Compose([ A.RandomBrightnessContrast(brightness_limit0.3, contrast_limit0.3, p0.7), A.HueSaturationValue(hue_shift_limit10, sat_shift_limit20, val_shift_limit20, p0.5), A.GaussNoise(var_limit(10.0, 50.0), p0.3), A.MotionBlur(blur_limit5, p0.2), A.RandomShadow(shadow_roi(0, 0.5, 1, 1), num_shadows_lower1, num_shadows_upper2, p0.3), A.ShiftScaleRotate(shift_limit0.05, scale_limit0.1, rotate_limit10, p0.5), A.Resize(640, 640), ])参数说明RandomShadow模拟柜内阴影MotionBlur模拟巡检机器人移动时的模糊rotate_limit10是因为现场摄像头安装通常不会完全水平。这里有个坑不要用水平翻转因为七段码数字翻转后语义变了比如 6 翻转后像 9会导致标签错误。3. 从标注到训练仪表读数识别的数据工程细节3.1 标注规范关键点、检测框和读数值怎么标数据标注是仪表读数识别里最容易被低估的环节。我见过太多团队直接拿公开数据集训结果现场精度惨不忍睹。正确的做法是按表型分别制定标注规范。指针表需要标四类关键点圆心、刻度起点、刻度终点、指针尖端。如果表盘有多个刻度圈还要标出主刻度对应的量程值。数显表需要标每个数字的检测框和对应的字符类别。另外每张图要记录一个元数据光照条件强光/正常/暗光、拍摄角度正对/倾斜、表盘类型。下面是一个标注文件的 JSON 结构示例{ image_id: meter_001.jpg, meter_type: pointer, keypoints: { center: [320, 240], scale_start: [200, 240], scale_end: [440, 240], pointer_tip: [380, 180] }, range: {min: 0, max: 100, unit: MPa}, condition: {light: normal, angle: frontal} }这个结构的好处是后处理时可以直接用range做角度到读数的映射不需要再查表。注意pointer_tip和center的连线角度要归一化到刻度起止角度之间否则会出现负值。3.2 训练集划分为什么不能随机分随机划分训练集和验证集在仪表读数识别里是个大坑。因为同一块表在不同光照下的图片高度相似随机划分会导致验证集里出现训练集的「近邻」精度虚高。正确的做法是按表盘 ID 划分同一块表的所有图片要么全在训练集要么全在验证集。我一般按 7:2:1 划分并且保证验证集里至少包含 20% 的暗光和倾斜样本。如果现场表型超过 10 种还要做分层采样避免某些表型在验证集里缺失。下面是一个按表盘 ID 划分的脚本import os import random from collections import defaultdict def split_by_meter_id(data_dir, train_ratio0.7, val_ratio0.2): meter_ids defaultdict(list) for fname in os.listdir(data_dir): # 假设文件名格式为 meterID_xxx.jpg meter_id fname.split(_)[0] meter_ids[meter_id].append(fname) ids list(meter_ids.keys()) random.shuffle(ids) n_train int(len(ids) * train_ratio) n_val int(len(ids) * val_ratio) train_ids ids[:n_train] val_ids ids[n_train:n_train n_val] test_ids ids[n_train n_val:] return train_ids, val_ids, test_ids逻辑说明先按文件名前缀聚合保证同一块表的所有图片进入同一个集合。参数train_ratio和val_ratio根据数据量调整如果表盘数量少于 50建议改成 8:1:1避免验证集太小。3.3 损失函数选择角度回归用 Smooth L1 还是 CSL指针角度回归有个特殊问题角度是周期性的359° 和 1° 实际只差 2°但欧氏距离很大。常见做法有两种一是用 Smooth L1 直接回归 sin 和 cos 值二是用 Circular Smooth LabelCSL把角度分类。我实测下来CSL 在小角度误差要求下更稳尤其是当指针接近刻度起点时。CSL 把 360° 分成 180 个 bin每个 bin 用高斯窗口做软标签避免边界突变。下面是 CSL 的标签生成代码import numpy as np def circular_smooth_label(angle, num_bins180, sigma3): 生成 CSL 软标签 angle: 真实角度单位度 num_bins: 角度分箱数 sigma: 高斯窗口标准差 angle angle % 360 bin_width 360 / num_bins center_bin angle / bin_width labels np.zeros(num_bins) for i in range(num_bins): # 计算循环距离 dist min(abs(i - center_bin), num_bins - abs(i - center_bin)) labels[i] np.exp(-(dist ** 2) / (2 * sigma ** 2)) labels labels / labels.sum() return labels参数说明num_bins180对应 2° 的分辨率sigma3控制软标签的平滑程度。如果现场对读数精度要求到 0.5°可以把num_bins提到 360。注意 CSL 的输出是概率分布推理时取 argmax 再乘 bin_width 得到角度。4. 推理部署把模型塞进边缘盒子要过的几道坎4.1 模型量化与 TensorRT 加速训练完的模型如果直接跑在 Jetson 或瑞芯微上FP32 推理一帧可能要 200ms根本达不到实时。我一般用 TensorRT 做 FP16 或 INT8 量化。以 YOLOv8 为例导出 ONNX 后再用 trtexec 转换# 导出 ONNX yolo export modelbest.pt formatonnx opset12 simplifyTrue # TensorRT FP16 转换 trtexec --onnxbest.onnx \ --saveEnginebest_fp16.engine \ --fp16 \ --workspace2048 \ --minShapesimages:1x3x640x640 \ --optShapesimages:4x3x640x640 \ --maxShapesimages:8x3x640x640参数说明--fp16开启半精度--workspace是显存上限--minShapes到--maxShapes定义动态 batch。注意 INT8 量化需要校准集建议从验证集里抽 200 张覆盖各种光照的图做校准否则精度掉得厉害。4.2 后处理角度到读数的映射与异常过滤模型输出角度后还要做一步映射才能得到读数。公式很简单reading min (angle - angle_start) / (angle_end - angle_start) * (max - min)。但实际现场会有指针抖动、遮挡、反光导致的角度跳变所以需要加异常过滤。我常用的策略是连续 5 帧取中位数如果某一帧角度偏离中位数超过 15°直接丢弃。另外如果指针角度落在刻度起止范围之外说明检测失败返回空值而不是硬算。下面是一个后处理示例import numpy as np from collections import deque class ReadingSmoother: def __init__(self, window_size5, max_deviation15): self.buffer deque(maxlenwindow_size) self.max_deviation max_deviation def update(self, angle): if angle is None: return None self.buffer.append(angle) if len(self.buffer) 3: return None median np.median(self.buffer) if abs(angle - median) self.max_deviation: return None return median def to_reading(self, angle, angle_start, angle_end, val_min, val_max): if angle is None: return None if angle angle_start or angle angle_end: return None ratio (angle - angle_start) / (angle_end - angle_start) return val_min ratio * (val_max - val_min)逻辑说明ReadingSmoother维护一个滑动窗口用中位数抗抖动max_deviation过滤突变。to_reading里先判断角度是否在有效范围内再线性映射。注意角度起止要按顺时针方向归一化否则会出现负值。5. 避坑指南仪表读数识别落地时最容易踩的 5 个坑5.1 反光导致指针断裂霍夫变换找不到直线现象表盘玻璃反光指针在图像里断成两截霍夫变换检测不到完整直线角度输出为空。原因自适应阈值对高亮区域不敏感反光区域的像素被误判为背景。解决在预处理阶段加一步镜面反射检测用 HSV 的 V 通道做阈值V 240 的区域直接掩膜掉再用 inpaint 修复。或者改用语义分割模型直接分割指针对断裂更鲁棒。5.2 数显表七段码「8」缺段被识别成「0」现象数显表老化某些段亮度不足模型把「8」识别成「0」或「6」。原因训练集里缺少缺段样本模型没见过这种退化情况。解决在数据增强里加随机遮挡模拟段缺失。具体做法是在七段码区域随机选 1-2 个段涂黑概率设 0.2。另外推理时可以用七段码的几何约束做后处理比如「8」必须七段全亮如果检测到只有六段亮按亮度排序补全。5.3 表盘倾斜导致关键点回归偏移现象摄像头安装角度偏了 10°圆心关键点偏移角度计算整体偏差 5° 以上。原因关键点回归模型对旋转敏感训练时没有足够的倾斜样本。解决训练时加ShiftScaleRotate旋转范围设 ±15°。推理时先用表盘检测框做透视矫正把表盘转正再送关键点模型。矫正可以用表盘外框的四个角点做单应性变换。5.4 小目标数字检测漏检现象数显表数字在整图里只占 20×30 像素YOLO 漏检严重。原因输入尺寸 640 下采样 32 倍后数字特征几乎消失。解决改用切片推理把表盘区域裁出来单独送模型或者用高分辨率输入1280×1280配合 P2 小目标检测头。我一般会在检测前加一个表盘定位模型先裁表盘再读数。5.5 训练集和现场分布不一致导致精度骤降现象实验室测试 mAP 0.95现场只有 0.6。原因训练集光照单一现场有逆光、阴影、油污。解决做一轮现场数据回捞至少覆盖早中晚三个时段和晴阴两种天气。如果现场数据标注成本高可以用半监督学习先用模型伪标人工修正后加入训练集。6. 用测试时增强和置信度校准把读数误差压到 1% 以内最后一章聊一个我实际用下来最有效的技巧测试时增强TTA加置信度校准。很多人训完模型就直接推理其实推理阶段还有不少免费精度可以捡。TTA 的做法很简单对同一张图做多种变换水平翻转除外原因前面说过分别推理后取平均。对指针角度可以把原图、亮度增强图、对比度增强图的角度输出做圆均值对数显表可以把原图和轻微旋转图检测框做 NMS 融合。下面是一个角度圆均值的实现import numpy as np def circular_mean(angles_deg): 计算角度的圆均值避免 359 和 1 平均成 180 angles_deg: 角度列表单位度 angles_rad np.deg2rad(angles_deg) sin_sum np.sin(angles_rad).mean() cos_sum np.cos(angles_rad).mean() mean_angle np.rad2deg(np.arctan2(sin_sum, cos_sum)) return mean_angle % 360这个函数把角度转成 sin 和 cos 分别平均再转回角度能正确处理跨 0° 的情况。参数上TTA 的变换数量建议 3-5 种太多会拖慢推理。如果边缘盒子算力紧张可以只保留亮度增强这一种。置信度校准则是解决「模型过度自信」的问题。我一般用温度缩放Temperature Scaling在验证集上拟合一个温度参数 T推理时把 logits 除以 T 再 softmax。T 通常取 1.5-2.5 之间能让置信度更接近真实准确率。这样做的直接好处是你可以设一个合理的阈值比如 0.7来触发人工复核而不是被虚高的 0.99 骗过去。最后说个我自己的习惯每次现场部署前我会拿 50 张「最脏」的图——反光、油污、倾斜、暗光——单独跑一遍如果这 50 张的读数误差能控制在 1% 以内才敢上线。这个习惯帮我省了好几次半夜被叫去现场排查的麻烦。希望帮到你。本文还有配套的精品资源点击获取