尧图网站建设 
简介基于传统机器学习方法SVM对Kaggle猫狗图片分类的高分项目与配套报告面向计算机相关专业学生及需要项目实战练习的开发者适合作为课程设计或期末大作业参考。项目经导师指导并获评审98分内容包含完整的Python训练脚本train.py、运行说明文档README.md及高分报告docx可直接对照学习SVM图像分类的特征提取、模型训练与评估流程。压缩包共4个文件以Python脚本、Markdown说明和Word报告为主另有macOS系统生成的.DS_Store元数据文件整体约391KB结构精简便于快速上手。目前已有94人学习下载适合希望快速复现经典机器学习分类任务、提升SVM实战能力的学习者。1. 为什么人人都上CNN的年代SVM仍能把Kaggle猫狗题做到高分Kaggle猫狗分类一到手多数人第一反应是往上叠CNN仿佛不叠CNN就没资格说话。但如果你在做模式识别或机器学习期末项目需要把特征、模型、调参讲清楚SVM这条路反而更稳。基于传统机器学习方法SVM做kaggle猫狗图片分类核心流程是预处理、HOG与颜色直方图特征提取、SVM训练、混淆矩阵评估。这套方案在5000张每类的子集上能稳定拿到78%到80%的验证精度训练耗时半小时内分类边界还看得见摸得着。这篇笔记从特征工程写到报告成稿适合课程作业、竞赛入门也适合想和深度学习做对比实验的人。2. 把25000张猫狗图变成SVM能吃下的特征矩阵HOG与颜色直方图的完整落地2.1 数据准备目录、标签与分层采样Kaggle的Dogs vs Cats竞赛数据包里train目录下是25000张混排图片文件名形如dog.1241.jpg、cat.3052.jpg标签直接写在文件名里。传统机器学习处理图像任务遵循“特征提取分类器”的固定流水线第一步不是建模而是把散落的图片整理成结构化矩阵并且提前切开验证集。我习惯的做法是先用Path.stem解析文件名主体再按第一个点切出cat或dog。这里有个隐藏坑文件名里还带数字编号用split(.)[0]没问题但如果你不小心用了split(_)[0]狗和猫的标签会全混。解压完数据后还要顺手做一次可读性检查因为下载过程偶尔会损坏图片cv2.imread读不出来返回None后面的特征矩阵会直接崩。import os import numpy as np from pathlib import Path from sklearn.model_selection import train_test_split IMG_DIR data/train # kaggle 官方 train 目录 img_paths [os.path.join(IMG_DIR, f) for f in os.listdir(IMG_DIR) if f.endswith(.jpg)] # 从文件名解析标签dog.1241.jpg 按点切分第一段就是类别 labels [] for p in img_paths: stem Path(p).stem # dog.1241 labels.append(0 if stem.split(.)[0] cat else 1) # 先抽一个训练池和一个独立验证池验证集后续绝不参与训练 train_paths, val_paths, train_labels, val_labels train_test_split( img_paths, labels, test_size4000, # 验证集 4000 张 train_size20000, # 训练池 20000 张 stratifylabels, # 分层采样保证猫狗各半 random_state2024 )逻辑说明官方train目录虽然是猫狗交替排列的但直接按顺序切片风险很大——目录排序后可能出现连续几百张同一类的片段。train_test_split加stratifylabels能保证训练池和验证池内部猫狗比例都接近1:1这是后面所有评估结论可信的地基。参数说明test_size4000是验证集大小够展示混淆矩阵又不会让训练池太小random_state2024固定随机种子保证报告里的数字可复现。这一步做完先别急着提特征记录好train_paths和val_paths的对应关系后面特征矩阵的行顺序必须和它严格一致。2.2 HOG特征提取参数选型与维度核算HOG方向梯度直方图统计的是图像局部区域内梯度方向的分布。猫和狗在脸型轮廓、耳朵位置上有稳定的差异猫脸偏圆耳廓间距宽狗脸棱角更明显。这些差异在梯度方向统计上会形成不同的响应模式这就是HOG能对猫狗分类生效的根本原因。它不像原始像素那样对光照敏感这也是传统视觉方案里HOG经久不衰的理由。特征提取前先统一图像尺寸。Kaggle原始图片分辨率从几百到几千不等直接提特征会在resize环节引入巨大噪声。我习惯把图缩到64×64这个尺寸对HOG足够又能显著压住后面的SVM训练耗时。灰度图计算梯度所以把RGB转成灰度再交给skimage.feature.hog。import cv2 from skimage.feature import hog def load_single(path, target_size(64, 64)): img_bgr cv2.imread(path) if img_bgr is None: return None img_rgb cv2.cvtColor(img_bgr, cv2.COLOR_BGR2RGB) img_resized cv2.resize(img_rgb, target_size, interpolationcv2.INTER_AREA) gray cv2.cvtColor(img_resized, cv2.COLOR_RGB2GRAY) return img_resized, gray def hog_feature(gray): return hog( gray, orientations9, # 梯度方向分9个bin pixels_per_cell(8, 8), # 每个cell是8x8像素 cells_per_block(2, 2), # 每个block含2x2个cell block_normL2-Hys, # block内归一化方式 transform_sqrtTrue, # 先做平方根压缩提亮暗部细节 feature_vectorTrue, # 拉平成一维向量 ) # 维度核算64/88个cell每边block滑动步长一个cell # block数(8-21)^249每block特征2*2*936维总计49*361764维逻辑说明orientations9把360度方向分成9个区间是HOG论文里的经典配置增加bin数无法带来质变只会线性拉高维度。pixels_per_cell(8,8)决定了每个cell覆盖8×8像素这个值越小细节越多但维度越高。cells_per_block(2,2)表示每2×2个cell组成一个block做局部归一化对抗光照变化。transform_sqrtTrue在低对比度图像上特别管用猫狗照片经常有暗部毛发平方根压缩能把暗部梯度信息提出来。参数说明选这套参数后单张HOG特征正好1764维。如果换成pixels_per_cell(4,4)cell数量翻4倍维度会直接膨胀到7000加SVM训练时间成倍上涨。本科课程作业不推荐追求分辨率64×64在这里是精度和耗时的平衡点。2.3 融合颜色直方图为什么颜色信息不能省单独HOG能到75%上下但颜色信息也值得利用。猫和狗的整体毛色统计确实有偏差橘色、狸花在猫里更常见狗的黑白花、棕黄色比例更高。虽然颜色不能作为单一判别依据但作为补充特征它能让SVM的决策边界多一个维度。我一般把图转到HSV空间再算直方图HSV比RGB更接近人对颜色的感知并且把亮度和色相分离光照变化时H通道相对稳定。def color_histogram(img_rgb, bins32): img_hsv cv2.cvtColor(img_rgb, cv2.COLOR_RGB2HSV) feats [] for channel in range(3): # 每个通道统计32个bin的颜色分布再归一化成概率分布 hist cv2.calcHist([img_hsv], [channel], None, [bins], [0, 256]) hist hist / (hist.sum() 1e-6) feats.append(hist.flatten()) return np.hstack(feats) # 3*3296维 # 最终特征 HOG 1764维 HSV颜色直方图 96维 1860维 X np.zeros((len(train_paths), 1860), dtypenp.float32) for i, p in enumerate(train_paths): img_rgb, gray load_single(p) X[i, :1764] hog_feature(gray) X[i, 1764:] color_histogram(img_rgb)逻辑说明cv2.calcHist对HSV的每个通道分别统计分布然后把三段直方图拼接成一个96维向量。归一化那一步很重要不同图片的尺寸在resize后已经一致但归一化后直方图变成概率分布数值范围也更稳定。用np.float32存特征矩阵能省一半内存SVC训练时内部计算开销也会小一些。参数说明bins32是常见配置加到64个bin维度翻倍但精度几乎不动。融合后的1860维对SVM完全可接受不需要为此做PCA降维。如果发现颜色直方图在验证集上反而拉低精度多半是数据里有大量黑白照片或强滤镜这时删掉颜色分支只保留HOG更稳妥。2.4 标准化与特征缓存只拟合训练集SVM的RBF核函数内部计算欧氏距离不同特征的数值尺度差异会直接扭曲距离度量。HOG特征的范围通常在0到0.3之间颜色直方图每个bin在0到1之间如果直接拼在一起训练SVM会默认颜色比HOG重要得多这显然不是我们想要的。所以必须做标准化让每个维度均值归零、方差归1。from sklearn.preprocessing import StandardScaler # 特征提取耗时较长先缓存成npy避免每次跑脚本重新提一遍 np.save(X_train_pool.npy, X) np.save(y_train_pool.npy, np.asarray(train_labels)) scaler StandardScaler() X_train_scaled scaler.fit_transform(X) # 只对训练池 fit np.save(scaler_mean.npy, scaler.mean_) np.save(scaler_scale.npy, scaler.scale_)逻辑说明fit_transform第一步用训练池的均值和方差计算出标准化参数第二步把训练池变换到标准空间。验证集特征后面要用同一个scaler.transform()处理绝不能再fit一次。这里的“只fit训练池”是一条硬规矩它对应机器学习里最基本的防泄漏原则第四章会专门展开翻车现场。参数说明StandardScaler是无参的不需要调参。缓存文件用np.save存成npy格式HOG提取是整条流水线里最耗时的环节10000张图大约3到4分钟缓存后调参阶段省下的时间非常可观。训练池缓存后验证集特征也按同样流程提取并保存文件名分开管理。提示标准化后可以把特征矩阵的均值打印出来看一眼正常应该接近0。如果发现某个维度均值漂移严重多半是标签解析错位或者图片读取顺序和标签顺序没对齐。3. SVM建模与调参C、gamma和核函数选型的三个关键决策3.1 为什么选RBF核而不是线性核猫狗分类的特征空间里HOG和颜色直方图交叉组合后不同类别的样本分布并不是线性可分的。线性核SVM在这个任务上的验证精度通常比RBF核低5到8个点。RBF核能把样本映射到高维空间再寻找线性分类超平面而核函数的巧妙之处在于不需要显式计算映射后的坐标直接在原始空间做内积就能得到高维空间的相似度。常见做法是直接用SVC(kernelrbf)。如果机器资源非常紧张可以临时用LinearSVC顶着跑通流程但课程作业和报告场景下RBF核是正路。二分类问题不需要纠结decision_function_shape参数ovr和ovo在二分类下结果一致报告里也不必提它。RBF核有一个默认参数gammascale它的计算公式是1/(n_features * X.var())。放到1860维特征上这个值通常极小决策边界会接近线性导致欠拟合。所以基本不能指望默认值直接出高分必须手动搜索gamma。3.2 C和gamma软间隔SVM的两个转折点软间隔SVM的优化目标里C是误分类惩罚项的权重C越大模型越不愿意容忍训练集上的错误决策边界会收得更紧容易过拟合C越小正则项占上风边界更平滑但可能欠拟合。gamma决定RBF核的作用半径gamma越大每个样本的影响范围越小决策边界可以弯折出很多细节但也更容易把噪声学进去gamma越小决策边界越接近线性。这两个参数不是独立起作用的C和gamma同时偏大模型几乎必然过拟合同时偏小模型几乎必然欠拟合。我调参的习惯是先固定C10、gamma0.01跑一组基线观察训练精度和验证精度的差距再决定往哪个方向拧。如果训练精度97%验证只有78%那是C或gamma过大如果两边都是70%那是参数偏小边界还没把数据分开。3.3 用随机搜索先探路再固定参数重训网格搜索是教科书标准做法但直接对20000张训练池做GridSearchCV会非常痛苦。SVC的训练复杂度在样本量上是近似O(n²)到O(n³)一个10组参数的网格搜索配上5折交叉验证可能跑一整晚。我一般分两步走先用3000张子集跑RandomizedSearchCV摸参数范围再用搜出来的结果在更大样本上固定训练。from sklearn.svm import SVC from sklearn.model_selection import RandomizedSearchCV from scipy.stats import loguniform # 从已标准化的训练池里抽3000张做参数侦察 sub_idx np.random.RandomState(42).choice(len(X_train_scaled), size3000, replaceFalse) param_grid { C: loguniform(1e-1, 1e2), # 在0.1到100之间按对数刻度采样 gamma: loguniform(1e-3, 1e1), # 在0.001到10之间按对数刻度采样 } search RandomizedSearchCV( SVC(kernelrbf, class_weightbalanced), param_grid, n_iter15, # 随机试15组省掉穷举 cv3, # 3折交叉验证 scoringaccuracy, n_jobs-1, verbose1, ) search.fit(X_train_scaled[sub_idx], np.asarray(train_labels)[sub_idx]) print(search.best_params_)逻辑说明loguniform在对数刻度上均匀采样这样C从0.1到100、gamma从0.001到10每个数量级都有机会被抽到。用线性间隔的话大部分采样会集中在数值大的区间小数量级的参数几乎不会被试到。class_weightbalanced在当前均衡数据下影响不大但能防止3000张子集抽样时产生微小倾斜。参数说明n_iter15配合cv3意味着最多训练45个SVC每个SVC在3000样本上是秒级到分钟级整体可控。搜索结果返回后不要直接拿best_params_去全量训练先确认它有没有落在搜索范围的边缘。如果gamma的最优值就是0.001说明搜索范围下限不够低应该把下限再往下探一格。另外要记住SVC的n_jobs参数对单个模型的训练没有加速效果LibSVM的求解是单线程的。n_jobs-1只对交叉验证的多组训练并行有效别指望单个SVC.fit吃满八核。3.4 固定参数全量训练与模型评估参数范围摸清后把训练集扩大到10000张做最终训练。为什么不是全部20000张SVM最终的决策边界只由支持向量决定样本量翻倍后支持向量的数量并不会等比例增长精度提升通常不到0.5个点训练时间却可能翻两三倍。10000张是这个任务里性价比最高的区间。import joblib from sklearn.metrics import accuracy_score, confusion_matrix best_C 15.0 # 以搜索到的量级为准这里给出的是经验参考值 best_gamma 0.02 # 从训练池里均衡抽10000张做最终训练 final_idx np.random.RandomState(7).choice(len(X_train_scaled), size10000, replaceFalse) model SVC(kernelrbf, Cbest_C, gammabest_gamma, class_weightbalanced) # 不要开 probabilityTruePlatt校准会让训练时间翻倍这个任务不需要概率输出 model.fit(X_train_scaled[final_idx], np.asarray(train_labels)[final_idx]) joblib.dump(model, svm_rbf.joblib) # 验证集走同样的预处理管线标准化只 transform 不 fit X_val np.load(X_val.npy) val_scaled scaler.transform(X_val) pred model.predict(val_scaled) print(验证精度:, accuracy_score(val_labels, pred)) print(confusion_matrix(val_labels, pred))逻辑说明final_idx用固定随机种子从训练池抽10000张保证报告可复现。模型保存我用joblib.dump而不是pickle.dump因为joblib对包含大数组的对象更友好。不设probabilityTrue是实战里的一个经验点SVC的概率输出需要额外做Platt校准训练时间几乎翻倍而猫狗分类是均衡二分类decision_function的距离符号已经足够做判别。参数说明C和gamma的最终取值需要根据你自己的搜索输出决定不要照抄。如果搜索显示C在50以上还持续涨说明训练池里存在难分样本模型在用更大的C去强行压住它们此时反而要警惕过拟合。模型保存后验证集预测只是矩阵乘法和核函数计算4000张图几秒出结果和训练是两个量级。4. SVM猫狗分类常见问题排查5个翻车场景的现象、原因与对策4.1 训练时内存爆炸或进程被杀现象model.fit(X_train_scaled)跑起来后内存占用一路涨到十几个G笔记本直接卡死或进程被系统杀掉。原因RBF核需要计算训练集两两样本之间的核矩阵。25000张全量训练时核矩阵本身就有25000×25000×8字节≈5GBLibSVM还会创建额外的工作矩阵内存峰值轻松超过8GB。这是SVM方法在大样本上的固有瓶颈不是代码写错了。解决把训练样本量控制在10000张以内或者改用LinearSVC和SGDClassifier(losshinge)它们针对线性核做了专门优化内存占用小一个量级。如果课程要求必须用SVC(kernelrbf)那就老老实实抽样。4.2 验证精度一直卡在50%现象无论怎么调C和gamma验证精度都在0.5附近跟抛硬币一样。原因三类典型问题。第一标签解析错误——文件名里有多余的点或者用了错误的分隔符导致标签错位第二测试时忘了对验证集图片做resize特征维度对不上或者提取出全零向量第三训练集和验证集有重叠但类别分布被破坏。解决先做最小烟雾测试抽50张图训练、50张图验证跑一个线性SVM。如果训练精度接近100%说明整个管线通顺问题出在样本量或参数上如果训练精度也只有50%那一定出在特征提取或标签解析。把前20个数据和文件名打印出来逐一核对基本能定位。4.3 验证曲线难看的元凶标准化泄漏现象训练精度97%验证精度只有60%差距大得离谱调参也救不回来。原因特征提取后直接对np.vstack([X_train, X_val])做了一次StandardScaler().fit_transform()验证集的均值和方差参与计算了标准化参数。这不算最严重的泄漏但RBF核对尺度极其敏感验证集被轻微扭曲后决策边界就偏移了。解决标准化参数只能从训练池计算验证集只做transform。错误写法是scaler.fit_transform(np.vstack([X_train, X_val]))正确写法是先scaler.fit(X_train)再分别transform。这个错误在报告的数据处理章节里要明确写出来反而能体现你对评估严谨性的理解。# 错误验证集参与了标准化参数的拟合 # X_all StandardScaler().fit_transform(np.vstack([X_train, X_val])) # 正确训练集fit验证集只transform scaler StandardScaler().fit(X_train) X_train_s scaler.transform(X_train) X_val_s scaler.transform(X_val)逻辑说明标准化参数均值和方差从训练集估计假设验证集和训练集来自同一分布那么这个估计对验证集同样适用。如果验证集有自己的分布偏移用它参与fit反而会掩盖这种偏移让评估结果虚高。4.4 HOG维度过高导致训练极慢现象特征矩阵的列数超过7000训练时间比预期长了好几倍交叉验证根本跑不完。原因用了pixels_per_cell(4,4)或者把图像resize成了128×128。cell尺寸减半后网格数量翻4倍block数量也跟着涨特征维度直接爆炸。高维特征让核矩阵计算量和支持向量数量都显著增加。解决固定64×64加pixels_per_cell(8,8)HOG维度就是1764足够表达猫狗轮廓差异。如果维度仍然超过5000检查是否把cells_per_block设成了(1,1)——那会丢失block内的归一化上下文特征质量也会下降。先打印X.shape确认维度再开始训练别等fit跑起来才发现。4.5 忽略shuffle直接切片导致结果复现不了现象把训练池的前12000张当训练集后8000张当验证集每次精度忽高忽低换个random_state结果天差地别。原因文件在磁盘上的顺序可能按类别分段排列直接切片会把类别比例带偏。更隐蔽的问题是如果不做分层采样哪怕整体猫狗比例是1:1前12000张里的猫狗占比也可能不是1:1模型学到的先验就偏了。解决统一走train_test_split(..., stratifylabels, random_state固定值)。训练池内部再做子采样时也保持stratify。报告里的每一个精度数字都必须能通过固定随机种子复现这条对答辩尤为关键——评审老师如果问一句“你换个随机种子还一样吗”答不上来会很被动。5. 高分报告怎么写从混淆矩阵到对比实验的八页结构5.1 报告骨架摘要、数据与特征、模型、实验、结论高分报告的核心逻辑和代码一样让读者能复现你的结果。课程作业和竞赛项目里的“高分报告”评审最反感的就是“跑了个精度就交差”。我习惯按八页结构组织摘要半页、数据集与预处理一页、特征工程两页、SVM原理两页、实验与对比一页半、结论半页。摘要只写四件事这个问题是什么、我用什么方法、拿到什么结果、和谁对比过。数字必须具体比如“验证集精度78.3%相比LinearSVC提升4.1个百分点”。数据集章节放一张表训练池数量、验证池数量、类别比例、图像尺寸、特征维度这是读者第一眼要找的东西。SVM原理部分参考周志华《机器学习》里对支持向量机的符号系统从间隔、支持向量到软间隔和核函数符号统一比文字花哨更重要。特征工程是SVM路线的灵魂花两页不为过。HOG的每个参数都要解释含义和为什么这么选orientations9是经典配置、pixels_per_cell(8,8)在细节和维度间取平衡、cells_per_block(2,2)做局部归一化增强光照鲁棒性。把维度核算写清楚49个block乘以36维等于1764维加上96维颜色直方图等于1860维这个算术过程本身就是加分项。结论不要写“未来可以尝试深度学习方法”这种空话要写具体的、基于你实验结果观察到的现象。比如“颜色直方图单独使用精度仅65%但融合后带来2个百分点提升说明颜色信息起到互补作用”这才是能体现数据洞察的收尾。5.2 图表混淆矩阵、HOG可视化、参数搜索热力图图表是报告的颜值担当但比颜值更重要的是信息密度。混淆矩阵必须放在实验结果第一屏它直接展示猫被误判成狗、狗被误判成猫的数量。HOG可视化图要放原图、灰度图、HOG叠加图三张并排让评审直观看到特征的样子。import matplotlib.pyplot as plt from sklearn.metrics import ConfusionMatrixDisplay # 混淆矩阵展示猫狗双向误判的具体数字 ConfusionMatrixDisplay.from_predictions( val_labels, pred, display_labels[cat, dog], cmapBlues, ) plt.savefig(confusion_matrix.png, dpi300, bbox_inchestight) # HOG 可视化原图、灰度、HOG特征图并排 _, (ax1, ax2, ax3) plt.subplots(1, 3, figsize(10, 3)) img_rgb, gray load_single(train_paths[0]) _, hog_img hog(gray, orientations9, pixels_per_cell(8, 8), cells_per_block(2, 2), visualizeTrue) ax1.imshow(img_rgb) ax2.imshow(gray, cmapgray) ax3.imshow(hog_img, cmapviridis) plt.savefig(hog_visual.png, dpi300)逻辑说明ConfusionMatrixDisplay.from_predictions直接吃标签和预测结果自动生成带数字的矩阵图。HOG部分用visualizeTrue从hog函数里额外拿一张特征图展示的是梯度能量在图像上的分布。注意HOG图尺寸和输入灰度图一致但视觉上会有网格感这是block划分的正常现象。参数说明dpi300是印刷级清晰度报告截图用150dpi会模糊。两张图都加bbox_inchestight避免保存时坐标轴被裁切。参数搜索热力图用pcolormesh画C和gamma不同组合下的验证精度颜色越亮精度越高这比文字描述“我试了十组参数”有说服力得多。5.3 基线对比特征消融与模型对比表只报一个最终精度是不够的必须证明你的每一个选择都有依据。对比实验是高分报告的分水岭。我一般设计四组仅HOG加RBF、仅颜色直方图加RBF、HOG加颜色融合加RBF、线性核加融合特征。后面两个是消融实验用来证明“颜色直方图有贡献”和“RBF比线性核更适合这个特征空间”。表格格式如下数值部分按自己实验填写实验配置验证精度训练时间结论HOG RBF SVM76%左右约20分钟基线方案轮廓特征有效颜色直方图 RBF SVM65%左右约5分钟单独不足以分类但可作互补HOG 颜色 RBF SVM78%左右约25分钟融合特征优于单一特征HOG 颜色 LinearSVC72%左右约3分钟RBF核有明显优势训练时间也写进表格这是SVM路线区别于深度学习的一个重要卖点25分钟训练完还能拿到接近80%的精度对课程项目来说性价比极高。如果条件允许加一行CNN参考结果做跨方法对比哪怕只是用ResNet18跑了10个epoch也能让报告的视野更完整。5.4 分析段落把实验现象翻译成结论报告里最值钱的部分是“为什么”段落。比如为什么单独用颜色直方图精度低因为猫的毛色跨度比狗的还大橘猫、黑猫、狸花、白猫全都有颜色本身不具备稳定的判别性。但为什么融合后精度反而提升因为HOG擅长抓轮廓颜色擅长抓整体倾向两者互补。误分类样本分析也很有效。从验证集里挑三张SVM判错的图贴上去逐一分析原因可能是毛发纹理复杂导致HOG方向统计混乱也可能是低光照让梯度计算失真。这种“正视失败”的段落比任何辞藻都加分答辩时还能主动开口解释而不是等着被问倒。6. 把精度从78%推到83%难样本挖掘与LBP特征融合的进阶动作6.1 难样本挖掘把错分样本捞出来人工看当验证精度卡在78%不再上涨第一步不是继续调参而是把SVM分错的样本捞出来看。方法很简单取预测和真实标签不一致的索引把对应的验证集图片复制到一个单独目录按真实标签_预测标签命名。看30到50张错图你会发现它们往往有共性长毛猫被误判成狗、短毛狗被误判成猫、侧躺姿势、极暗光、大块阴影。这些共性能直接告诉你下一步该动哪里。import shutil wrong_idx np.where(pred ! np.asarray(val_labels))[0] os.makedirs(hard_examples, exist_okTrue) for idx in wrong_idx[:30]: src val_paths[idx] dst fhard_examples/{idx}_{val_labels[idx]}_pred_{pred[idx]}.jpg shutil.copy(src, dst)逻辑说明复制而不是移动保留验证集原样。文件名里同时带真实标签和预测标签人工查看时一眼就能看出误判方向。如果发现高频误判集中在毛发浓密的类别说明HOG对纹理细节的表达不够——这正好引出LBP特征。6.2 加入LBP纹理特征把纹理信息补上HOG抓轮廓和梯度方向但对局部纹理的周期性变化不敏感。LBP局部二值模式统计的是中心像素与邻域像素的大小关系对毛发的粗细、卷曲程度有不错的表达能力。加上LBP后特征维度从1860变成1919SVM训练时间几乎不受影响但精度通常能涨2到3个点。from skimage.feature import local_binary_pattern def lbp_histogram(gray, P8, R1.0): # 半径1像素、8个邻域点的圆形LBPuniform模式压缩到59维 lbp local_binary_pattern(gray, PP, RR, methoduniform) hist, _ np.histogram(lbp.ravel(), binsnp.arange(0, 10), densityTrue) return hist逻辑说明methoduniform会把所有非均匀模式合并成一个bin把原始LBP的256维压到59维。P8, R1.0是最基础的配置邻域点太少抓不住大尺度纹理太多又容易对噪声敏感。模板匹配一个简单的特征级融合把这段59维向量拼到原有1860维后面重新走一遍标准化加SVM流程即可。到了这一步理解硬间隔SVM的梯度下降推导是纯理论但实战中真正起作用的是软间隔里C的调校手感。当你发现训练精度已经99%、验证精度掉到77%大概率是C太大反过来训练精度94%、验证精度93%那C和gamma就在一个健康的位置。这种“先看训练精度再决定往哪拧”的习惯比盲目搜索高效得多。我自己的习惯是不管多急都先把混淆矩阵存下来它是整个项目最可靠的后视镜调参撞墙时翻出来看总能找到方向。希望帮到你。本文还有配套的精品资源点击获取 SVM图像分类实战：基于HOG与颜色直方图的Kaggle猫狗识别
简介基于传统机器学习方法SVM对Kaggle猫狗图片分类的高分项目与配套报告面向计算机相关专业学生及需要项目实战练习的开发者适合作为课程设计或期末大作业参考。项目经导师指导并获评审98分内容包含完整的Python训练脚本train.py、运行说明文档README.md及高分报告docx可直接对照学习SVM图像分类的特征提取、模型训练与评估流程。压缩包共4个文件以Python脚本、Markdown说明和Word报告为主另有macOS系统生成的.DS_Store元数据文件整体约391KB结构精简便于快速上手。目前已有94人学习下载适合希望快速复现经典机器学习分类任务、提升SVM实战能力的学习者。1. 为什么人人都上CNN的年代SVM仍能把Kaggle猫狗题做到高分Kaggle猫狗分类一到手多数人第一反应是往上叠CNN仿佛不叠CNN就没资格说话。但如果你在做模式识别或机器学习期末项目需要把特征、模型、调参讲清楚SVM这条路反而更稳。基于传统机器学习方法SVM做kaggle猫狗图片分类核心流程是预处理、HOG与颜色直方图特征提取、SVM训练、混淆矩阵评估。这套方案在5000张每类的子集上能稳定拿到78%到80%的验证精度训练耗时半小时内分类边界还看得见摸得着。这篇笔记从特征工程写到报告成稿适合课程作业、竞赛入门也适合想和深度学习做对比实验的人。2. 把25000张猫狗图变成SVM能吃下的特征矩阵HOG与颜色直方图的完整落地2.1 数据准备目录、标签与分层采样Kaggle的Dogs vs Cats竞赛数据包里train目录下是25000张混排图片文件名形如dog.1241.jpg、cat.3052.jpg标签直接写在文件名里。传统机器学习处理图像任务遵循“特征提取分类器”的固定流水线第一步不是建模而是把散落的图片整理成结构化矩阵并且提前切开验证集。我习惯的做法是先用Path.stem解析文件名主体再按第一个点切出cat或dog。这里有个隐藏坑文件名里还带数字编号用split(.)[0]没问题但如果你不小心用了split(_)[0]狗和猫的标签会全混。解压完数据后还要顺手做一次可读性检查因为下载过程偶尔会损坏图片cv2.imread读不出来返回None后面的特征矩阵会直接崩。import os import numpy as np from pathlib import Path from sklearn.model_selection import train_test_split IMG_DIR data/train # kaggle 官方 train 目录 img_paths [os.path.join(IMG_DIR, f) for f in os.listdir(IMG_DIR) if f.endswith(.jpg)] # 从文件名解析标签dog.1241.jpg 按点切分第一段就是类别 labels [] for p in img_paths: stem Path(p).stem # dog.1241 labels.append(0 if stem.split(.)[0] cat else 1) # 先抽一个训练池和一个独立验证池验证集后续绝不参与训练 train_paths, val_paths, train_labels, val_labels train_test_split( img_paths, labels, test_size4000, # 验证集 4000 张 train_size20000, # 训练池 20000 张 stratifylabels, # 分层采样保证猫狗各半 random_state2024 )逻辑说明官方train目录虽然是猫狗交替排列的但直接按顺序切片风险很大——目录排序后可能出现连续几百张同一类的片段。train_test_split加stratifylabels能保证训练池和验证池内部猫狗比例都接近1:1这是后面所有评估结论可信的地基。参数说明test_size4000是验证集大小够展示混淆矩阵又不会让训练池太小random_state2024固定随机种子保证报告里的数字可复现。这一步做完先别急着提特征记录好train_paths和val_paths的对应关系后面特征矩阵的行顺序必须和它严格一致。2.2 HOG特征提取参数选型与维度核算HOG方向梯度直方图统计的是图像局部区域内梯度方向的分布。猫和狗在脸型轮廓、耳朵位置上有稳定的差异猫脸偏圆耳廓间距宽狗脸棱角更明显。这些差异在梯度方向统计上会形成不同的响应模式这就是HOG能对猫狗分类生效的根本原因。它不像原始像素那样对光照敏感这也是传统视觉方案里HOG经久不衰的理由。特征提取前先统一图像尺寸。Kaggle原始图片分辨率从几百到几千不等直接提特征会在resize环节引入巨大噪声。我习惯把图缩到64×64这个尺寸对HOG足够又能显著压住后面的SVM训练耗时。灰度图计算梯度所以把RGB转成灰度再交给skimage.feature.hog。import cv2 from skimage.feature import hog def load_single(path, target_size(64, 64)): img_bgr cv2.imread(path) if img_bgr is None: return None img_rgb cv2.cvtColor(img_bgr, cv2.COLOR_BGR2RGB) img_resized cv2.resize(img_rgb, target_size, interpolationcv2.INTER_AREA) gray cv2.cvtColor(img_resized, cv2.COLOR_RGB2GRAY) return img_resized, gray def hog_feature(gray): return hog( gray, orientations9, # 梯度方向分9个bin pixels_per_cell(8, 8), # 每个cell是8x8像素 cells_per_block(2, 2), # 每个block含2x2个cell block_normL2-Hys, # block内归一化方式 transform_sqrtTrue, # 先做平方根压缩提亮暗部细节 feature_vectorTrue, # 拉平成一维向量 ) # 维度核算64/88个cell每边block滑动步长一个cell # block数(8-21)^249每block特征2*2*936维总计49*361764维逻辑说明orientations9把360度方向分成9个区间是HOG论文里的经典配置增加bin数无法带来质变只会线性拉高维度。pixels_per_cell(8,8)决定了每个cell覆盖8×8像素这个值越小细节越多但维度越高。cells_per_block(2,2)表示每2×2个cell组成一个block做局部归一化对抗光照变化。transform_sqrtTrue在低对比度图像上特别管用猫狗照片经常有暗部毛发平方根压缩能把暗部梯度信息提出来。参数说明选这套参数后单张HOG特征正好1764维。如果换成pixels_per_cell(4,4)cell数量翻4倍维度会直接膨胀到7000加SVM训练时间成倍上涨。本科课程作业不推荐追求分辨率64×64在这里是精度和耗时的平衡点。2.3 融合颜色直方图为什么颜色信息不能省单独HOG能到75%上下但颜色信息也值得利用。猫和狗的整体毛色统计确实有偏差橘色、狸花在猫里更常见狗的黑白花、棕黄色比例更高。虽然颜色不能作为单一判别依据但作为补充特征它能让SVM的决策边界多一个维度。我一般把图转到HSV空间再算直方图HSV比RGB更接近人对颜色的感知并且把亮度和色相分离光照变化时H通道相对稳定。def color_histogram(img_rgb, bins32): img_hsv cv2.cvtColor(img_rgb, cv2.COLOR_RGB2HSV) feats [] for channel in range(3): # 每个通道统计32个bin的颜色分布再归一化成概率分布 hist cv2.calcHist([img_hsv], [channel], None, [bins], [0, 256]) hist hist / (hist.sum() 1e-6) feats.append(hist.flatten()) return np.hstack(feats) # 3*3296维 # 最终特征 HOG 1764维 HSV颜色直方图 96维 1860维 X np.zeros((len(train_paths), 1860), dtypenp.float32) for i, p in enumerate(train_paths): img_rgb, gray load_single(p) X[i, :1764] hog_feature(gray) X[i, 1764:] color_histogram(img_rgb)逻辑说明cv2.calcHist对HSV的每个通道分别统计分布然后把三段直方图拼接成一个96维向量。归一化那一步很重要不同图片的尺寸在resize后已经一致但归一化后直方图变成概率分布数值范围也更稳定。用np.float32存特征矩阵能省一半内存SVC训练时内部计算开销也会小一些。参数说明bins32是常见配置加到64个bin维度翻倍但精度几乎不动。融合后的1860维对SVM完全可接受不需要为此做PCA降维。如果发现颜色直方图在验证集上反而拉低精度多半是数据里有大量黑白照片或强滤镜这时删掉颜色分支只保留HOG更稳妥。2.4 标准化与特征缓存只拟合训练集SVM的RBF核函数内部计算欧氏距离不同特征的数值尺度差异会直接扭曲距离度量。HOG特征的范围通常在0到0.3之间颜色直方图每个bin在0到1之间如果直接拼在一起训练SVM会默认颜色比HOG重要得多这显然不是我们想要的。所以必须做标准化让每个维度均值归零、方差归1。from sklearn.preprocessing import StandardScaler # 特征提取耗时较长先缓存成npy避免每次跑脚本重新提一遍 np.save(X_train_pool.npy, X) np.save(y_train_pool.npy, np.asarray(train_labels)) scaler StandardScaler() X_train_scaled scaler.fit_transform(X) # 只对训练池 fit np.save(scaler_mean.npy, scaler.mean_) np.save(scaler_scale.npy, scaler.scale_)逻辑说明fit_transform第一步用训练池的均值和方差计算出标准化参数第二步把训练池变换到标准空间。验证集特征后面要用同一个scaler.transform()处理绝不能再fit一次。这里的“只fit训练池”是一条硬规矩它对应机器学习里最基本的防泄漏原则第四章会专门展开翻车现场。参数说明StandardScaler是无参的不需要调参。缓存文件用np.save存成npy格式HOG提取是整条流水线里最耗时的环节10000张图大约3到4分钟缓存后调参阶段省下的时间非常可观。训练池缓存后验证集特征也按同样流程提取并保存文件名分开管理。提示标准化后可以把特征矩阵的均值打印出来看一眼正常应该接近0。如果发现某个维度均值漂移严重多半是标签解析错位或者图片读取顺序和标签顺序没对齐。3. SVM建模与调参C、gamma和核函数选型的三个关键决策3.1 为什么选RBF核而不是线性核猫狗分类的特征空间里HOG和颜色直方图交叉组合后不同类别的样本分布并不是线性可分的。线性核SVM在这个任务上的验证精度通常比RBF核低5到8个点。RBF核能把样本映射到高维空间再寻找线性分类超平面而核函数的巧妙之处在于不需要显式计算映射后的坐标直接在原始空间做内积就能得到高维空间的相似度。常见做法是直接用SVC(kernelrbf)。如果机器资源非常紧张可以临时用LinearSVC顶着跑通流程但课程作业和报告场景下RBF核是正路。二分类问题不需要纠结decision_function_shape参数ovr和ovo在二分类下结果一致报告里也不必提它。RBF核有一个默认参数gammascale它的计算公式是1/(n_features * X.var())。放到1860维特征上这个值通常极小决策边界会接近线性导致欠拟合。所以基本不能指望默认值直接出高分必须手动搜索gamma。3.2 C和gamma软间隔SVM的两个转折点软间隔SVM的优化目标里C是误分类惩罚项的权重C越大模型越不愿意容忍训练集上的错误决策边界会收得更紧容易过拟合C越小正则项占上风边界更平滑但可能欠拟合。gamma决定RBF核的作用半径gamma越大每个样本的影响范围越小决策边界可以弯折出很多细节但也更容易把噪声学进去gamma越小决策边界越接近线性。这两个参数不是独立起作用的C和gamma同时偏大模型几乎必然过拟合同时偏小模型几乎必然欠拟合。我调参的习惯是先固定C10、gamma0.01跑一组基线观察训练精度和验证精度的差距再决定往哪个方向拧。如果训练精度97%验证只有78%那是C或gamma过大如果两边都是70%那是参数偏小边界还没把数据分开。3.3 用随机搜索先探路再固定参数重训网格搜索是教科书标准做法但直接对20000张训练池做GridSearchCV会非常痛苦。SVC的训练复杂度在样本量上是近似O(n²)到O(n³)一个10组参数的网格搜索配上5折交叉验证可能跑一整晚。我一般分两步走先用3000张子集跑RandomizedSearchCV摸参数范围再用搜出来的结果在更大样本上固定训练。from sklearn.svm import SVC from sklearn.model_selection import RandomizedSearchCV from scipy.stats import loguniform # 从已标准化的训练池里抽3000张做参数侦察 sub_idx np.random.RandomState(42).choice(len(X_train_scaled), size3000, replaceFalse) param_grid { C: loguniform(1e-1, 1e2), # 在0.1到100之间按对数刻度采样 gamma: loguniform(1e-3, 1e1), # 在0.001到10之间按对数刻度采样 } search RandomizedSearchCV( SVC(kernelrbf, class_weightbalanced), param_grid, n_iter15, # 随机试15组省掉穷举 cv3, # 3折交叉验证 scoringaccuracy, n_jobs-1, verbose1, ) search.fit(X_train_scaled[sub_idx], np.asarray(train_labels)[sub_idx]) print(search.best_params_)逻辑说明loguniform在对数刻度上均匀采样这样C从0.1到100、gamma从0.001到10每个数量级都有机会被抽到。用线性间隔的话大部分采样会集中在数值大的区间小数量级的参数几乎不会被试到。class_weightbalanced在当前均衡数据下影响不大但能防止3000张子集抽样时产生微小倾斜。参数说明n_iter15配合cv3意味着最多训练45个SVC每个SVC在3000样本上是秒级到分钟级整体可控。搜索结果返回后不要直接拿best_params_去全量训练先确认它有没有落在搜索范围的边缘。如果gamma的最优值就是0.001说明搜索范围下限不够低应该把下限再往下探一格。另外要记住SVC的n_jobs参数对单个模型的训练没有加速效果LibSVM的求解是单线程的。n_jobs-1只对交叉验证的多组训练并行有效别指望单个SVC.fit吃满八核。3.4 固定参数全量训练与模型评估参数范围摸清后把训练集扩大到10000张做最终训练。为什么不是全部20000张SVM最终的决策边界只由支持向量决定样本量翻倍后支持向量的数量并不会等比例增长精度提升通常不到0.5个点训练时间却可能翻两三倍。10000张是这个任务里性价比最高的区间。import joblib from sklearn.metrics import accuracy_score, confusion_matrix best_C 15.0 # 以搜索到的量级为准这里给出的是经验参考值 best_gamma 0.02 # 从训练池里均衡抽10000张做最终训练 final_idx np.random.RandomState(7).choice(len(X_train_scaled), size10000, replaceFalse) model SVC(kernelrbf, Cbest_C, gammabest_gamma, class_weightbalanced) # 不要开 probabilityTruePlatt校准会让训练时间翻倍这个任务不需要概率输出 model.fit(X_train_scaled[final_idx], np.asarray(train_labels)[final_idx]) joblib.dump(model, svm_rbf.joblib) # 验证集走同样的预处理管线标准化只 transform 不 fit X_val np.load(X_val.npy) val_scaled scaler.transform(X_val) pred model.predict(val_scaled) print(验证精度:, accuracy_score(val_labels, pred)) print(confusion_matrix(val_labels, pred))逻辑说明final_idx用固定随机种子从训练池抽10000张保证报告可复现。模型保存我用joblib.dump而不是pickle.dump因为joblib对包含大数组的对象更友好。不设probabilityTrue是实战里的一个经验点SVC的概率输出需要额外做Platt校准训练时间几乎翻倍而猫狗分类是均衡二分类decision_function的距离符号已经足够做判别。参数说明C和gamma的最终取值需要根据你自己的搜索输出决定不要照抄。如果搜索显示C在50以上还持续涨说明训练池里存在难分样本模型在用更大的C去强行压住它们此时反而要警惕过拟合。模型保存后验证集预测只是矩阵乘法和核函数计算4000张图几秒出结果和训练是两个量级。4. SVM猫狗分类常见问题排查5个翻车场景的现象、原因与对策4.1 训练时内存爆炸或进程被杀现象model.fit(X_train_scaled)跑起来后内存占用一路涨到十几个G笔记本直接卡死或进程被系统杀掉。原因RBF核需要计算训练集两两样本之间的核矩阵。25000张全量训练时核矩阵本身就有25000×25000×8字节≈5GBLibSVM还会创建额外的工作矩阵内存峰值轻松超过8GB。这是SVM方法在大样本上的固有瓶颈不是代码写错了。解决把训练样本量控制在10000张以内或者改用LinearSVC和SGDClassifier(losshinge)它们针对线性核做了专门优化内存占用小一个量级。如果课程要求必须用SVC(kernelrbf)那就老老实实抽样。4.2 验证精度一直卡在50%现象无论怎么调C和gamma验证精度都在0.5附近跟抛硬币一样。原因三类典型问题。第一标签解析错误——文件名里有多余的点或者用了错误的分隔符导致标签错位第二测试时忘了对验证集图片做resize特征维度对不上或者提取出全零向量第三训练集和验证集有重叠但类别分布被破坏。解决先做最小烟雾测试抽50张图训练、50张图验证跑一个线性SVM。如果训练精度接近100%说明整个管线通顺问题出在样本量或参数上如果训练精度也只有50%那一定出在特征提取或标签解析。把前20个数据和文件名打印出来逐一核对基本能定位。4.3 验证曲线难看的元凶标准化泄漏现象训练精度97%验证精度只有60%差距大得离谱调参也救不回来。原因特征提取后直接对np.vstack([X_train, X_val])做了一次StandardScaler().fit_transform()验证集的均值和方差参与计算了标准化参数。这不算最严重的泄漏但RBF核对尺度极其敏感验证集被轻微扭曲后决策边界就偏移了。解决标准化参数只能从训练池计算验证集只做transform。错误写法是scaler.fit_transform(np.vstack([X_train, X_val]))正确写法是先scaler.fit(X_train)再分别transform。这个错误在报告的数据处理章节里要明确写出来反而能体现你对评估严谨性的理解。# 错误验证集参与了标准化参数的拟合 # X_all StandardScaler().fit_transform(np.vstack([X_train, X_val])) # 正确训练集fit验证集只transform scaler StandardScaler().fit(X_train) X_train_s scaler.transform(X_train) X_val_s scaler.transform(X_val)逻辑说明标准化参数均值和方差从训练集估计假设验证集和训练集来自同一分布那么这个估计对验证集同样适用。如果验证集有自己的分布偏移用它参与fit反而会掩盖这种偏移让评估结果虚高。4.4 HOG维度过高导致训练极慢现象特征矩阵的列数超过7000训练时间比预期长了好几倍交叉验证根本跑不完。原因用了pixels_per_cell(4,4)或者把图像resize成了128×128。cell尺寸减半后网格数量翻4倍block数量也跟着涨特征维度直接爆炸。高维特征让核矩阵计算量和支持向量数量都显著增加。解决固定64×64加pixels_per_cell(8,8)HOG维度就是1764足够表达猫狗轮廓差异。如果维度仍然超过5000检查是否把cells_per_block设成了(1,1)——那会丢失block内的归一化上下文特征质量也会下降。先打印X.shape确认维度再开始训练别等fit跑起来才发现。4.5 忽略shuffle直接切片导致结果复现不了现象把训练池的前12000张当训练集后8000张当验证集每次精度忽高忽低换个random_state结果天差地别。原因文件在磁盘上的顺序可能按类别分段排列直接切片会把类别比例带偏。更隐蔽的问题是如果不做分层采样哪怕整体猫狗比例是1:1前12000张里的猫狗占比也可能不是1:1模型学到的先验就偏了。解决统一走train_test_split(..., stratifylabels, random_state固定值)。训练池内部再做子采样时也保持stratify。报告里的每一个精度数字都必须能通过固定随机种子复现这条对答辩尤为关键——评审老师如果问一句“你换个随机种子还一样吗”答不上来会很被动。5. 高分报告怎么写从混淆矩阵到对比实验的八页结构5.1 报告骨架摘要、数据与特征、模型、实验、结论高分报告的核心逻辑和代码一样让读者能复现你的结果。课程作业和竞赛项目里的“高分报告”评审最反感的就是“跑了个精度就交差”。我习惯按八页结构组织摘要半页、数据集与预处理一页、特征工程两页、SVM原理两页、实验与对比一页半、结论半页。摘要只写四件事这个问题是什么、我用什么方法、拿到什么结果、和谁对比过。数字必须具体比如“验证集精度78.3%相比LinearSVC提升4.1个百分点”。数据集章节放一张表训练池数量、验证池数量、类别比例、图像尺寸、特征维度这是读者第一眼要找的东西。SVM原理部分参考周志华《机器学习》里对支持向量机的符号系统从间隔、支持向量到软间隔和核函数符号统一比文字花哨更重要。特征工程是SVM路线的灵魂花两页不为过。HOG的每个参数都要解释含义和为什么这么选orientations9是经典配置、pixels_per_cell(8,8)在细节和维度间取平衡、cells_per_block(2,2)做局部归一化增强光照鲁棒性。把维度核算写清楚49个block乘以36维等于1764维加上96维颜色直方图等于1860维这个算术过程本身就是加分项。结论不要写“未来可以尝试深度学习方法”这种空话要写具体的、基于你实验结果观察到的现象。比如“颜色直方图单独使用精度仅65%但融合后带来2个百分点提升说明颜色信息起到互补作用”这才是能体现数据洞察的收尾。5.2 图表混淆矩阵、HOG可视化、参数搜索热力图图表是报告的颜值担当但比颜值更重要的是信息密度。混淆矩阵必须放在实验结果第一屏它直接展示猫被误判成狗、狗被误判成猫的数量。HOG可视化图要放原图、灰度图、HOG叠加图三张并排让评审直观看到特征的样子。import matplotlib.pyplot as plt from sklearn.metrics import ConfusionMatrixDisplay # 混淆矩阵展示猫狗双向误判的具体数字 ConfusionMatrixDisplay.from_predictions( val_labels, pred, display_labels[cat, dog], cmapBlues, ) plt.savefig(confusion_matrix.png, dpi300, bbox_inchestight) # HOG 可视化原图、灰度、HOG特征图并排 _, (ax1, ax2, ax3) plt.subplots(1, 3, figsize(10, 3)) img_rgb, gray load_single(train_paths[0]) _, hog_img hog(gray, orientations9, pixels_per_cell(8, 8), cells_per_block(2, 2), visualizeTrue) ax1.imshow(img_rgb) ax2.imshow(gray, cmapgray) ax3.imshow(hog_img, cmapviridis) plt.savefig(hog_visual.png, dpi300)逻辑说明ConfusionMatrixDisplay.from_predictions直接吃标签和预测结果自动生成带数字的矩阵图。HOG部分用visualizeTrue从hog函数里额外拿一张特征图展示的是梯度能量在图像上的分布。注意HOG图尺寸和输入灰度图一致但视觉上会有网格感这是block划分的正常现象。参数说明dpi300是印刷级清晰度报告截图用150dpi会模糊。两张图都加bbox_inchestight避免保存时坐标轴被裁切。参数搜索热力图用pcolormesh画C和gamma不同组合下的验证精度颜色越亮精度越高这比文字描述“我试了十组参数”有说服力得多。5.3 基线对比特征消融与模型对比表只报一个最终精度是不够的必须证明你的每一个选择都有依据。对比实验是高分报告的分水岭。我一般设计四组仅HOG加RBF、仅颜色直方图加RBF、HOG加颜色融合加RBF、线性核加融合特征。后面两个是消融实验用来证明“颜色直方图有贡献”和“RBF比线性核更适合这个特征空间”。表格格式如下数值部分按自己实验填写实验配置验证精度训练时间结论HOG RBF SVM76%左右约20分钟基线方案轮廓特征有效颜色直方图 RBF SVM65%左右约5分钟单独不足以分类但可作互补HOG 颜色 RBF SVM78%左右约25分钟融合特征优于单一特征HOG 颜色 LinearSVC72%左右约3分钟RBF核有明显优势训练时间也写进表格这是SVM路线区别于深度学习的一个重要卖点25分钟训练完还能拿到接近80%的精度对课程项目来说性价比极高。如果条件允许加一行CNN参考结果做跨方法对比哪怕只是用ResNet18跑了10个epoch也能让报告的视野更完整。5.4 分析段落把实验现象翻译成结论报告里最值钱的部分是“为什么”段落。比如为什么单独用颜色直方图精度低因为猫的毛色跨度比狗的还大橘猫、黑猫、狸花、白猫全都有颜色本身不具备稳定的判别性。但为什么融合后精度反而提升因为HOG擅长抓轮廓颜色擅长抓整体倾向两者互补。误分类样本分析也很有效。从验证集里挑三张SVM判错的图贴上去逐一分析原因可能是毛发纹理复杂导致HOG方向统计混乱也可能是低光照让梯度计算失真。这种“正视失败”的段落比任何辞藻都加分答辩时还能主动开口解释而不是等着被问倒。6. 把精度从78%推到83%难样本挖掘与LBP特征融合的进阶动作6.1 难样本挖掘把错分样本捞出来人工看当验证精度卡在78%不再上涨第一步不是继续调参而是把SVM分错的样本捞出来看。方法很简单取预测和真实标签不一致的索引把对应的验证集图片复制到一个单独目录按真实标签_预测标签命名。看30到50张错图你会发现它们往往有共性长毛猫被误判成狗、短毛狗被误判成猫、侧躺姿势、极暗光、大块阴影。这些共性能直接告诉你下一步该动哪里。import shutil wrong_idx np.where(pred ! np.asarray(val_labels))[0] os.makedirs(hard_examples, exist_okTrue) for idx in wrong_idx[:30]: src val_paths[idx] dst fhard_examples/{idx}_{val_labels[idx]}_pred_{pred[idx]}.jpg shutil.copy(src, dst)逻辑说明复制而不是移动保留验证集原样。文件名里同时带真实标签和预测标签人工查看时一眼就能看出误判方向。如果发现高频误判集中在毛发浓密的类别说明HOG对纹理细节的表达不够——这正好引出LBP特征。6.2 加入LBP纹理特征把纹理信息补上HOG抓轮廓和梯度方向但对局部纹理的周期性变化不敏感。LBP局部二值模式统计的是中心像素与邻域像素的大小关系对毛发的粗细、卷曲程度有不错的表达能力。加上LBP后特征维度从1860变成1919SVM训练时间几乎不受影响但精度通常能涨2到3个点。from skimage.feature import local_binary_pattern def lbp_histogram(gray, P8, R1.0): # 半径1像素、8个邻域点的圆形LBPuniform模式压缩到59维 lbp local_binary_pattern(gray, PP, RR, methoduniform) hist, _ np.histogram(lbp.ravel(), binsnp.arange(0, 10), densityTrue) return hist逻辑说明methoduniform会把所有非均匀模式合并成一个bin把原始LBP的256维压到59维。P8, R1.0是最基础的配置邻域点太少抓不住大尺度纹理太多又容易对噪声敏感。模板匹配一个简单的特征级融合把这段59维向量拼到原有1860维后面重新走一遍标准化加SVM流程即可。到了这一步理解硬间隔SVM的梯度下降推导是纯理论但实战中真正起作用的是软间隔里C的调校手感。当你发现训练精度已经99%、验证精度掉到77%大概率是C太大反过来训练精度94%、验证精度93%那C和gamma就在一个健康的位置。这种“先看训练精度再决定往哪拧”的习惯比盲目搜索高效得多。我自己的习惯是不管多急都先把混淆矩阵存下来它是整个项目最可靠的后视镜调参撞墙时翻出来看总能找到方向。希望帮到你。本文还有配套的精品资源点击获取