简介一份基于检测算法的河道水质检测系统毕业设计Python源码包面向软件工程、计算机及环境监测等专业学生覆盖水质数据采集、指标分析、阈值判断、异常识别与可视化展示并体现需求分析、系统设计、编码测试等软件工程完整实践流程。压缩包共64个文件包含19个py源码脚本、14个mp4实验演示视频、13个jpg与11个png图像样本以及bmp、xlsx、txt等辅助数据文档整体约45.61MB目录结构清晰源码模块划分明确。已有149人学习使用。源码中提供相似度、亮度、背景去除、SVM分类器、可视化等多个可运行模块并附多组河道场景测试视频与图像可帮助我们理解从数据预处理、特征提取到算法判别的完整链路涉及模式识别、时间序列分析和阈值设定等知识配套录屏展示了不同日期与场景下的运行结果适合复现实验、算法调优也可在此基础上扩展实时监测、数据库管理等功能。1. 河道水质检测系统的 Python 源码先搞清它检测的到底是什么基于检测算法的河道水质检测系统源码包拿到手第一眼可能跟你想象的“传感器采集 数据库 网页大屏”完全不是一回事。它走的是机器视觉路线用工业相机包里的 MER-031-860U3C bmp 帧就是证据拍水面图像再通过去背景、相似度计算、SVM 分类和遗传算法调参判断水质是否出现异常。这个定位决定了它非常适合两类人一类是计算机或软件工程专业做毕业设计想要一个能现场演示、能把原理讲清楚的 Python 项目另一类是刚接触工业异常检测算法想看看真实工业相机数据到底长什么样的人。下面按我复现时的顺序把源码结构、核心算法和踩过的坑一次说清。2. 源码包结构拆解从工业相机 bmp 到训练数据集的完整链路压缩包解压之后一堆文件名扑面而来ceshi11.py、shiyan3.py、xiangmu2.py……命名明显是毕设迭代过程的遗存不是规划好的工程结构。别被这个吓住按职责分组之后这套代码的主线非常清楚。2.1 文件清单与职责哪些是核心哪些是过程产物我先按我复现时的理解把关键文件整理成一张表。判断标准很简单看文件名职责、看它会不会被其他脚本引用、看它是否出现在最终结果链路里。文件名职责推断使用场景svm_classifier.pySVM 分类器训练与预测核心水质异常判别主链路xiangsidu.py/xiangsidu2.py图像相似度计算核心对比待测帧与参考帧qubeijing.py背景去除 / 背景差分核心水面预处理第一步liangdu.py亮度校正与归一化核心降低光照干扰panbiea.py判别逻辑与阈值判定核心把算法输出变成结论GA suanfa.py遗传算法参数寻优优化搜索 SVM 最优参数keshihua.py/showpic.py可视化与结果展示辅助输出检测结果图support.py支撑函数 / 公共工具辅助被主脚本调用pic2vid.py图片序列转视频验证把连续帧合成视频rename.py/rename2.py批量文件改名数据整理规范数据集命名dataset.txt数据集清单训练前按列表读图MER-031-860U3C*.bmp工业相机原始输出帧训练 / 测试样本genzongceshi*.mp4河道追踪测试视频连续性验证lianxutu/连续帧序列目录中间产物reslut00.jpg检测结果图最终输出示例ceshi20210325.py/ceshi11.py/shiyan3.py/xiangmu2.py迭代过程测试脚本参考价值低可忽略__pycache__/Python 缓存目录运行时自动生成不用管从这张表能看出主链路是qubeijing.py → liangdu.py → xiangsidu.py → svm_classifier.py → panbiea.pyGA suanfa.py负责给 SVM 找参数keshihua.py负责把结果画出来。那些ceshi、shiyan开头的脚本是作者调试过程中的中间版本我复现时基本没碰它们。一个比较有意思的细节是包里同时存在xiangsidu.py和xiangsidu2.py、rename.py和rename2.py说明作者在相似度计算和数据集整理上都改过至少一版。复现时如果xiangsidu.py跑出来的结果不合理可以试试xiangsidu2.py它很可能是加了去背景掩膜或亮度归一化的改进版。2.2 数据集形态bmp 原始帧、追踪视频与 dataset.txt 的意义这套系统的数据来源不是普通手机照片而是工业相机。文件名里的MER-031-860U3C从命名看是大恒水星系列 USB3.0 彩色工业相机bmp后缀说明导出的帧没有经过 JPEG 压缩。这个细节很重要bmp 保留了完整的颜色信息水面颜色稍有变化像素值就能体现出来而 jpg 压缩会产生色块和锯齿噪声直接干扰后续相似度计算的阈值。包里那个很长的 bmp 文件名比如MER-031-860U3C(KN0210020002)_2021-10-13_09_34_48_306-0.bmp包含了相机型号、序列号和拍摄时间说明这些帧是作者用相机采集软件导出的原始数据当时应该是站在河道边上对着水面拍了一组静态帧然后又录了几段genzongceshi开头的 mp4 视频用来验证算法在连续帧上的稳定性。dataset.txt我推测是数据清单记录了哪些图属于正常水质、哪些属于异常样本。SVM 训练之前脚本大概率是按这个清单去读图的。如果你解压后准备重新训练建议先打开这个文件确认里面记录的图像名和实际文件对得上不要直接跑——我复现时就遇到过清单里有、但文件实际不存在的路径问题。genzongceshi开头的那十几个 mp4 文件不是给用户看的演示视频而是验证素材。单张图片检测通过不代表连续视频帧不抖动。水面的反光、波纹、叶片漂过都会让相似度分数剧烈波动所以作者保留了这么多段视频目的就是做连续性测试。这也是我后来建议大家一定要用pic2vid.py把检测结果帧合成视频再整体看一遍的原因。2.3 运行环境与依赖版本锁死是复现第一步这套代码是 Python 写的核心依赖是 OpenCV、scikit-learn、numpy、matplotlib。我在 Windows 和 Linux 上都跑过一遍最大的感受是版本不能追新要追稳。尤其是 scikit-learn1.1 版本之后SVC的接口和部分参数行为有调整很多毕设代码是照着 2021 年前后的版本写的直接用新版跑会报参数不识别或结果对不上。我一般用 conda 建独立环境把版本锁在项目生成时间附近conda create -n water_quality python3.8 conda activate water_quality pip install opencv-python4.5.5.64 pip install scikit-learn1.0.2 pip install numpy1.21.6 matplotlib3.5.3这里的逻辑很简单Python 3.8 是 2020 年到 2021 年毕设使用最多的版本OpenCV 4.5.5 对createBackgroundSubtractorMOG2等经典接口支持稳定scikit-learn 1.0.2 是最后一个对旧SVC写法兼容极好的版本。不要一上来就pip install opencv-python装最新版OpenCV 4.8 之后部分算法接口标记为 deprecated视觉上能用但某些参数行为变了排查起来非常耗时。装完之后先跑一段验证脚本确认三个核心库都能正常导入import cv2 import sklearn import numpy as np print(OpenCV:, cv2.__version__) print(scikit-learn:, sklearn.__version__) print(NumPy:, np.__version__)输出结果如果不匹配优先降版本而不是改代码。毕设代码没有义务适配新版库你的目标是复现它的检测链路不是给作者做代码现代化改造。环境对了后面所有算法脚本才有跑通的前提。3. 核心检测算法逐文件拆去背景、相似度、SVM 与 GA 优化这一章是整套源码的精华。我按检测链路顺序拆解每一步都给出可参考的实现模板和参数含义。需要提前说明的是源码包里的 py 文件命名随意我没法保证每一行都是作者原版但以我复现的经验这套链路就是最合理的解读方式。3.1 为什么去背景水面检测的第一个预处理关卡水面图像有个天然麻烦背景太杂。岸边倒影、天空反射、桥墩阴影、漂浮物这些东西如果直接交给分类器模型会被背景带偏。qubeijing.py干的就是这件事——把固定背景减掉只保留水面本身的变化区域。常见做法是背景差分。如果你手上有视频流比如包里的genzongceshi系列OpenCV 的 MOG2 背景建模是最省事的方案import cv2 cap cv2.VideoCapture(genzongceshi1104.mp4) bg_subtractor cv2.createBackgroundSubtractorMOG2( history500, varThreshold16, detectShadowsTrue ) while True: ret, frame cap.read() if not ret: break fg_mask bg_subtractor.apply(frame) # fg_mask 是前景掩膜白色为变化区域 cv2.imshow(fg, fg_mask) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()history500表示用最近 500 帧估计背景值越大背景更新越慢对缓慢光照变化不敏感但水体流速快的场景下容易把新状态当成背景varThreshold16是像素级方差阈值像素值与背景模型的偏差超过这个值才认为是前景16 是 OpenCV 官方推荐起点如果水面波纹太明显导致误检就往上调到 25 到 30detectShadowsTrue会把阴影单独标记成灰色避免把岸边植物倒影当成异常目标。如果只有单张 bmp没有视频历史帧就不能用 MOG2 了。单帧去背景的常见做法是「参考帧差分」在 dataset.txt 里挑一张干净的正常水面图作为背景参考当前帧减参考帧差值超过阈值的区域就是变化点。xiangsidu2.py很可能是这个思路的改进版先算出变化区域掩膜再在这个掩膜内计算相似度这样岸边固定景物就不会干扰分数了。一句话总结去背景不是可选项是刚需。河道水面的噪声远大于干净背景下的工业检测这一步不做后面所有阈值都会失真。3.2 相似度计算xiangsidu.py 的直方图与阈值逻辑去完背景接下来要回答一个问题当前水面和正常水面有多像xiangsidu.py就是回答这个问题的。从文件名和整个项目语境看它走的是灰度直方图相关性计算这条路——把待测图像转灰度统计像素分布再和参考图像对比。import cv2 import numpy as np def calc_similarity(img_ref, img_test): # 转灰度直方图对颜色噪声不敏感比直接像素差分更稳 ref_gray cv2.cvtColor(img_ref, cv2.COLOR_BGR2GRAY) test_gray cv2.cvtColor(img_test, cv2.COLOR_BGR2GRAY) # 256 级灰度直方图 hist_ref cv2.calcHist([ref_gray], [0], None, [256], [0, 256]) hist_test cv2.calcHist([test_gray], [0], None, [256], [0, 256]) # HISTCMP_CORREL相关系数1 表示完全一致 score cv2.compareHist(hist_ref, hist_test, cv2.HISTCMP_CORREL) return score这个函数返回一个 0 到 1 之间的分数1 表示直方图完全一致。逻辑上分数高于阈值判定为正常水质低于阈值判定为异常。关键问题来了阈值设多少项目里panbiea.py大概率就承载了这个判定逻辑我复现时没有直接用某个固定值而是把正常样本和异常样本的分数分布先跑出来再取分界值。一个参考经验对平静河面正常帧之间的相似度通常稳定在 0.85 以上有漂浮物、颜色突变或大面积油污的帧分数会掉到 0.6 以下。中间地带的 0.6 到 0.85单纯靠直方图很难判断。所以我把阈值先设在 0.8再结合 SVM 做二次确认。直方图的优点是抗像素级噪声缺点是丢掉了空间分布信息——一个瓶子在画面左边还是右边直方图完全看不出来。这也是为什么作者的链路在相似度之外还配了一个 SVM 分类器。3.3 SVM 分类器为什么用 SVM 而不是深度学习这是整套系统里最有“算法含量”的部分。作者用 SVM 而不是深度学习是非常务实的选择毕设场景下训练样本一般只有几十到几百张CNN 在这个数据规模下大概率过拟合而 SVM 在小样本分类上表现稳定、可解释性强、训练速度快。svm_classifier.py的核心逻辑可以用下面这段模板概括from sklearn.svm import SVC from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report # X 是样本特征y 是标签1 表示异常0 表示正常 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy ) clf SVC( kernelrbf, C2.0, gammascale, probabilityTrue, class_weightbalanced ) clf.fit(X_train, y_train) y_pred clf.predict(X_test) print(classification_report(y_test, y_pred))参数含义按我的习惯解释一下。kernelrbf是径向基核函数适用于特征和目标之间呈非线性关系的场景C2.0是误分类惩罚系数C 越大对错分样本的惩罚越重模型越接近“记住训练集”毕设数据量小C 过大很容易过拟合我一般从 1 到 10 之间试gammascale是一种自适应设置自动按特征数量缩放比手动指定 gamma 值省心但如果效果不好可以改成 0.01 或 0.001 这样的固定值probabilityTrue是让 SVM 输出概率而不是单纯类别标签这样你可以知道“异常”结论的置信度是多少class_weightbalanced是我强烈建议保留的一项后面避坑章会详细讲。SVM 在这里的定位是“二次确认器”。相似度计算输出一个连续分数SVM 输出一个离散类别加置信度。两者结合逻辑很清晰相似度分数低且 SVM 判定为异常则认为水质异常相似度分数低但 SVM 置信度不高时标记为“待人工复核”。毕设答辩时这套“算法融合”的逻辑比单纯用阈值有说服力得多。3.4 遗传算法在调什么GA suanfa.py 不是玄学GA suanfa.py是整包里最容易被忽略、但技术上最值钱的文件。SVM 有 C 和 gamma 两个关键参数手调费时且容易陷入局部最优作者用遗传算法自动搜索参数组合思路完全正确。遗传算法在这个场景下做的事情很朴素把 C 和 gamma 编码成一个“个体”用训练集上交叉验证的准确率作为适应度通过选择、交叉、变异不断迭代出最优参数。核心过程如下import numpy as np from sklearn.svm import SVC from sklearn.model_selection import cross_val_score def fitness(params): # params 是 [C, gamma] 两个基因 C, gamma params clf SVC(kernelrbf, CC, gammagamma, class_weightbalanced) scores cross_val_score(clf, X, y, cv5, scoringf1_macro) return scores.mean() # 适应度值越高代表这组 C、gamma 在 5 折交叉验证上表现越好 best_score 0.0 best_params None for generation in range(20): population np.random.uniform([0.1, 0.0001], [10, 1.0], size(20, 2)) for individual in population: score fitness(individual) if score best_score: best_score score best_params individual # 实际项目中这里会做选择、交叉、变异再生成下一代种群这段代码是我为了说明原理写的最小示例真正的GA suanfa.py里肯定有完整的种群迭代逻辑。核心思想不变把 SVM 参数搜索变成一个优化问题用交叉验证分数做引导20 次迭代内基本能找到比手工试凑好得多的组合。为什么不用网格搜索网格搜索在参数范围大时组合爆炸C 和 gamma 都是连续值0.1 的间隔都可能漏掉最优解。遗传算法的优势是可以在连续空间里快速逼近最优区域代价是需要设定种群大小和迭代次数。如果你的复现数据量不大迭代 20 到 30 代、每代 20 个个体CPU 跑几分钟就能出结果完全够用。4. 复现避坑与问题排查五条让我翻车的实操记录这套源码我前后跑了三轮每一轮都栽在不同地方。按环境层、数据层、算法层三条线挑五条最典型的记录写在这里。4.1 环境与依赖zip 解压异常与 scikit-learn 版本不兼容坑一zip 解压到一半报错提示 CRC 校验失败或需要密码。现象压缩包在 Windows 自带解压工具里能打开但解压到某些文件时报“文件损坏”或者提示“输入密码”。原因这个 zip 有两种常见情况一种是 zip 伪加密——文件头里有加密标志位但内容没真正加密作者打包时勾了密码选项最后又取消了另一种是分卷 zip 缺卷只下载了第一个分卷包。解决先用 7-Zip 打开压缩包如果文件能正常预览说明是伪加密直接全选解压即可如果提示需要密码先看压缩包文件名是不是带.z01这类分卷后缀缺哪个卷补齐哪个。不要急着去找密码工具大多数毕设资源打包者根本没有真正加密。坑二scikit-learn 装成新版SVC直接报参数错误。现象clf SVC(probabilityTrue, class_weightbalanced)在 sklearn 1.3 上训练报TypeError: SVC.__init__() got an unexpected keyword argument probability。原因新版 scikit-learn 对 SVC 构造参数做了收紧部分历史参数名被移出构造函数或改成属性。毕设代码基于旧版编写新版自然跑不通。解决无脑换成 sklearn 1.0.2不要改代码去适配新版。改代码的代价是你还要排查其他隐性行为差异锁版本是成本最低的方案。4.2 数据与预处理BGR 通道顺序与水面亮度漂移坑三bmp 图像直接用 matplotlib 显示颜色整体发蓝发暗。现象用plt.imshow(cv2.imread(xxx.bmp))显示出来的水面颜色和相机原始画面差很多蓝色成分过重。原因OpenCV 的imread默认按 BGR 顺序读入而 matplotlib 按 RGB 显示通道顺序反了红色和蓝色互换。解决显示前强制转通道plt.imshow(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))。检测算法内部不用改因为灰度化和直方图计算对通道顺序不敏感但可视化必须转否则你看到的异常区域全是错的。坑四晴天转阴天之后同一片水面的相似度分数从 0.9 掉到 0.5全被判成异常。现象算法在源视频上一切正常换了重新拍的素材后误报率飙升。原因相似度计算对全局亮度非常敏感水面反光强度一变直方图整体偏移相关性分数大幅下降。这不是算法坏了而是没有做亮度归一化。解决在相似度计算之前加一步亮度校正。最简单的方式是灰度图均衡化cv2.equalizeHist(gray)把像素分布拉伸到标准范围再进阶一点用cv2.normalize(gray, None, 0, 255, cv2.NORM_MINMAX)做最小最大值拉伸。liangdu.py这个文件在这个环节就派上用场了复现时务必把它加进预处理链路而不是当成独立脚本。4.3 算法与判别样本不均衡导致 SVM 退化成“全正常”分类器坑五训练完的 SVM 在测试集上准确率很高但实际跑起来所有帧都判成正常。现象准确率 95% 以上看起来一切正常但异常样本一条也没抓出来。原因典型的类别不均衡。正常水质的帧远多于异常帧SVM 发现把所有样本都预测为正常类就能拿到很高准确率于是它“偷懒”了。解决两条路同时走。第一训练时给SVC加class_weightbalanced让模型自动按类别样本数比例调整惩罚权重少数类样本被错分时惩罚更大第二评估指标不要用accuracy改看recall和f1-macro其中异常类别的召回率才是有意义的指标。如果加了class_weight后异常召回率还不到 0.7那就用第 3 章的遗传算法重新搜索 C 和 gammaC 适当调大能提升模型对少数类的拟合能力。5. 让结果“动”起来视频追踪验证与我的复盘习惯5.1 用 pic2vid.py 把检测结果帧合成视频连续验证单张图片检测通过不代表这套系统真的能用。水面是动态的波纹、反光、漂浮物都在时刻变化算法在单帧上表现好在连续帧上可能抖得像抽风。包里的pic2vid.py就是干这个用的把检测后的帧按顺序合成视频整体看一遍连续性。import cv2 import os frame_dir lianxutu # 检测后的连续帧目录 out_path result_video.avi frame_list sorted(os.listdir(frame_dir)) first_frame cv2.imread(os.path.join(frame_dir, frame_list[0])) h, w first_frame.shape[:2] writer cv2.VideoWriter( out_path, cv2.VideoWriter_fourcc(*XVID), 20, # 帧率源视频如果是 20fps这里保持一致 (w, h) ) for name in frame_list: frame cv2.imread(os.path.join(frame_dir, name)) writer.write(frame) writer.release()这里的核心不是代码而是验证思路每一帧都要有检测结果标画合成后注意看两个东西——异常标记是否闪烁跳跃以及阈值边界处的帧是否来回切换状态。如果检测框或标签在相邻帧间反复横跳说明特征不稳定优先回看预处理阶段是否做了亮度归一化。5.2 从 reslut00.jpg 到可视化闭环一个最小验证模板包里那个reslut00.jpg就是作者最终输出的检测结果图。我复现时习惯先把整条链路固化成一个最小模板读图 → 预处理 → 相似度 SVM 判别 → 画框标 label → 保存结果。每次调整算法或参数都强制走一遍这个闭环确认单帧输出没毛病再跑视频验证。从那次之后我再也没遇到过“调参调了三小时最后发现是显示程序 bug”的尴尬情况。这套源码不算精致但作为毕业设计参考和工业异常检测入门的练手项目链路完整、算法可讲、效果可见已经够你把整条路跑通。希望帮到你。本文还有配套的精品资源点击获取