尧图网站建设 
1. 项目概述从数学建模到甲骨文识别的跨界实战去年带队打MathorcupB题“甲骨文智能识别”一出来我们团队几个搞算法和搞建模的同学面面相觑感觉这题出得有点“刁钻”。它不像传统的优化或预测题给你一堆数据去拟合而是直接把一个前沿的计算机视觉问题——古文字识别包装成了数学建模的赛题。这背后反映的趋势很明显数学建模竞赛正在从纯数学模型微分方程、统计分析、优化算法的比拼转向更强调“问题定义-数据理解-模型构建-工程实现”的全流程能力尤其是与人工智能、深度学习的交叉融合。这道题的核心是要求参赛者构建一个能够自动识别拓片图像上甲骨文字符的智能系统。听起来是标准的计算机视觉任务但难点在于“甲骨文”这个特殊对象。它不像MNIST手写数字那样有海量标准数据字形古老、结构复杂、拓片质量参差不齐还有大量的模糊、残缺和粘连。这要求我们不仅要用深度学习模型更要在数据预处理、特征工程、模型设计和后处理上融入我们对问题本身的数学理解和物理建模思维。比如如何用图像处理技术本质是数学变换去增强拓片如何设计损失函数来应对样本极度不均衡常见字和生僻字如何用数学方法评估一个分类模型在古文识别场景下的可靠性这才是这道题真正的挑战和魅力所在。如果你是一个数学、计算机或相关专业的学生或者是对AI传统文化应用感兴趣的开发者这篇复盘将带你完整走一遍我们当时的解题思路、技术选型、代码实现以及踩过的那些坑。你会发现数学建模的思维和深度学习的工程能力在这里是相辅相成的。2. 解题核心思路拆解为什么是“深度学习数学建模”看到“甲骨文智能识别”第一反应可能就是上CNN卷积神经网络。这没错但如果我们只把它当作一个普通的图像分类任务用现成的ResNet、EfficientNet跑一遍大概率成绩平平。数学建模思维要求我们更深一层如何将甲骨文识别的先验知识先验信息和面临的特殊约束问题特性转化为模型设计的一部分。2.1 问题转化与建模框架首先我们把赛题任务分解成一个标准的机器学习流程但每个环节都注入数学建模的思考输入甲骨文拓片灰度图像。这是一个二维离散函数I(x, y)值域为[0, 255]。目标输出图像中单个或多个甲骨文字符的类别标签。这是一个多分类问题类别数等于数据集中不重复的甲骨文字形数量假设为N类。核心挑战建模图像质量差拓片存在噪声、光照不均、背景纹理干扰。这可以建模为原始清晰图像I_clean经过一个退化函数D包含模糊、噪声添加、对比度下降等后的观测值I_obs D(I_clean)。我们的预处理可以看作是在估计逆函数D^{-1}这是一个典型的图像复原问题。字符形变与残缺同一字符在不同拓片上形态有差异。这要求模型具有平移、缩放、旋转、轻微形变的不变性。在数学上我们希望模型学习的函数f(I)对于一组变换T如仿射变换满足f(T(I)) ≈ f(I)。这可以通过数据增强模拟T或在网络结构中加入具有等变性的层如群卷积来实现。类别极度不均衡高频字如“人”、“日”的样本可能上百而生僻字样本可能只有个位数。这直接导致以准确率为目标的训练会偏向多数类。我们需要在损失函数层面进行修正例如引入带权重的交叉熵损失其中每个类别的权重与其样本数的倒数成正比从数学上平衡各类别的梯度贡献。我们的整体框架因此确定为“预处理数学方法增强 - 深度学习特征提取与分类核心模型 - 后处理与评估数学统计验证”。2.2 技术栈选型背后的考量为什么选择这些工具每一个选择都有其针对性和权衡。编程语言与核心库Python PyTorchPython生态无敌。数学建模需要的NumPy、SciPy、Pandas图像处理需要的OpenCV、PIL可视化需要的Matplotlib深度学习需要的PyTorch/TensorFlow全部无缝集成。这在有限时间的比赛中是决定性优势。PyTorch相比TensorFlowPyTorch的动态图机制在研究和原型开发阶段更灵活调试直观。对于需要频繁尝试不同网络结构和损失函数的竞赛场景PyTorch的pythonic风格能极大提升效率。深度学习框架选型PyTorch Lightning这是我们的一个“秘密武器”。在纯PyTorch上写训练循环、验证循环、早停、日志记录会占用大量代码量。PyTorch Lightning将工程样板代码抽象化让我们只需关注核心的模型架构、数据流水线和损失函数。它能自动处理设备切换CPU/GPU、混合精度训练、梯度累积等让代码更简洁且不易出错。在争分夺秒的比赛中这能节省至少30%的调试时间。图像处理库OpenCV功能全面且高效。用于实现我们自定义的预处理流水线如自适应阈值二值化、形态学操作、轮廓查找等。这些传统算法虽然“老”但在为深度学习模型准备高质量输入数据时往往比盲目堆叠网络层更有效。辅助工具Weights Biases (WB)模型训练的可视化和追踪工具。可以实时记录损失、准确率曲线可视化模型预测结果还能做超参数扫描。它就像实验的“黑匣子”所有训练过程都被完整记录方便我们回溯分析模型性能变化的原因对于撰写论文中的实验分析部分提供了极大便利。实操心得在赛前准备环境时一定要用conda或venv创建独立的虚拟环境并精确记录所有包的版本号pip freeze requirements.txt。我们曾因为一台电脑上的torchvision版本不一致导致数据增强行为不同在模型集成时出现了难以排查的偏差。3. 数据预处理用数学方法为模型“洗菜”原始拓片图像是模型性能的第一个天花板。我们的预处理流水线目标明确突出前景文字抑制背景石板纹理、噪声并将图像规格化。3.1 预处理流水线步骤详解我们的流程是顺序执行的每一步都基于前一步的结果灰度化与归一化import cv2 import numpy as np def preprocess_image(image_path): # 读取图像强制转为灰度图 img cv2.imread(image_path, cv2.IMREAD_GRAYSCALE) # 归一化到 [0, 1] 区间有利于网络训练稳定 img_normalized img.astype(np.float32) / 255.0 return img_normalized这步很简单但必不可少。将像素值从[0,255]映射到[0,1]符合神经网络激活函数如Sigmoid, Tanh的典型输入范围能加速训练收敛。对比度受限的自适应直方图均衡化CLAHE 拓片常局部过亮或过暗。全局直方图均衡化会放大噪声。CLAHE将图像分块在每个小块内进行均衡化并用双线性插值消除块间边界从而增强局部对比度而不引入过多噪声。def apply_clahe(img, clip_limit2.0, tile_grid_size(8,8)): # 创建CLAHE对象 clahe cv2.createCLAHE(clipLimitclip_limit, tileGridSizetile_grid_size) # 应用CLAHE注意输入需要是0-255的uint8类型 img_uint8 (img * 255).astype(np.uint8) img_clahe clahe.apply(img_uint8) return img_clahe.astype(np.float32) / 255.0clip_limit参数控制对比度增强的强度tile_grid_size决定分块大小。我们通过网格搜索发现(2.0, (8,8))对于大多数拓片效果较好。自适应阈值二值化 目标是将文字从背景中分离。由于光照不均全局阈值如Otsu效果很差。我们采用高斯加权自适应阈值。def adaptive_threshold(img, block_size15, C2): # block_size: 邻域大小必须为奇数 # C: 从均值或加权均值中减去的常数用于微调 img_uint8 (img * 255).astype(np.uint8) binary cv2.adaptiveThreshold(img_uint8, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV, block_size, C) return binary.astype(np.float32) / 255.0这里使用THRESH_BINARY_INV是因为拓片文字通常是深色背景是浅色我们需要将文字转为白色前景值为1背景转为黑色值为0。形态学操作去噪 二值化后图像会有小的噪声点背景中的黑点和文字笔画上的断裂。我们使用形态学的开运算和闭运算。def morphological_clean(binary_img, kernel_size3): kernel np.ones((kernel_size, kernel_size), np.uint8) # 开运算先腐蚀再膨胀去除小白点噪声 opening cv2.morphologyEx(binary_img, cv2.MORPH_OPEN, kernel) # 闭运算先膨胀再腐蚀连接断裂的小黑点笔画 closing cv2.morphologyEx(opening, cv2.MORPH_CLOSE, kernel) return closing开闭运算的顺序和核大小需要根据实际图像调整。有时笔画很细闭运算的核太大会导致字符粘连需要谨慎。轮廓查找与字符ROI提取 如果赛题提供的是包含多个字符的整张拓片我们需要先定位单个字符。使用cv2.findContours查找连通域然后根据面积、宽高比等几何特征过滤掉非字符区域如大的裂纹、污渍。def extract_char_contours(binary_img, min_area50, max_area5000, min_aspect_ratio0.2, max_aspect_ratio5.0): contours, _ cv2.findContours((binary_img*255).astype(np.uint8), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) char_contours [] for cnt in contours: area cv2.contourArea(cnt) x, y, w, h cv2.boundingRect(cnt) aspect_ratio w / float(h) if h ! 0 else 0 if min_area area max_area and min_aspect_ratio aspect_ratio max_aspect_ratio: # 符合字符特征的轮廓 char_contours.append((x, y, w, h)) # 按x坐标排序假设文字大致水平排列 char_contours sorted(char_contours, keylambda b: b[0]) return char_contours提取出的每个字符区域(ROI)会被统一缩放到一个固定尺寸如64x64作为神经网络的输入。注意事项预处理的所有参数如CLAHE的clip_limit、阈值化的block_size、形态学核大小、轮廓面积阈值都不是固定的。必须准备一个小的验证集用肉眼观察预处理效果来调整这些参数。自动化很重要但人的视觉判断在初期调参阶段无可替代。我们编写了一个可视化脚本将原始图、每一步处理后的图并排显示快速评估参数影响。4. 深度学习模型构建设计适合甲骨文的神经网络我们放弃了直接使用ImageNet预训练模型如ResNet50的念头。因为ImageNet是自然图像纹理、颜色、层次丰富而甲骨文是二值或灰度化的稀疏线条图案特征空间差异巨大。预训练模型底层提取的边缘、纹理特征可能有用但高层语义特征迁移价值不大且模型复杂度高在小数据集上容易过拟合。4.1 自定义CNN架构设计我们设计了一个轻量级但有针对性的CNN模型其设计哲学是浅层捕捉笔画局部特征点、线、角中层组合成部件特征部首、结构高层进行全局分类。import torch import torch.nn as nn import torch.nn.functional as F class OracleBoneCNN(nn.Module): def __init__(self, num_classes): super(OracleBoneCNN, self).__init__() # 输入假设为 1x64x64 (通道x高x宽) # 特征提取模块 self.features nn.Sequential( # Block 1: 捕捉基础边缘和角点 nn.Conv2d(1, 32, kernel_size3, padding1), # 输出: 32x64x64 nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.Conv2d(32, 32, kernel_size3, padding1), # 输出: 32x64x64 nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.MaxPool2d(kernel_size2, stride2), # 输出: 32x32x32 # Block 2: 组合成简单部件 nn.Conv2d(32, 64, kernel_size3, padding1), # 输出: 64x32x32 nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.Conv2d(64, 64, kernel_size3, padding1), # 输出: 64x32x32 nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.MaxPool2d(kernel_size2, stride2), # 输出: 64x16x16 # Block 3: 捕捉更高阶的字符结构 nn.Conv2d(64, 128, kernel_size3, padding1), # 输出: 128x16x16 nn.BatchNorm2d(128), nn.ReLU(inplaceTrue), nn.Conv2d(128, 128, kernel_size3, padding1), # 输出: 128x16x16 nn.BatchNorm2d(128), nn.ReLU(inplaceTrue), nn.MaxPool2d(kernel_size2, stride2), # 输出: 128x8x8 ) # 分类头 self.classifier nn.Sequential( nn.Dropout(p0.5), # 强正则化防止过拟合 nn.Linear(128 * 8 * 8, 512), nn.ReLU(inplaceTrue), nn.Dropout(p0.5), nn.Linear(512, num_classes) ) def forward(self, x): x self.features(x) x torch.flatten(x, 1) # 展平: (batch, 128*8*8) x self.classifier(x) return x设计要点解析小卷积核3x3堆叠小卷积核在拥有相同感受野的情况下比大卷积核参数更少非线性更强。这是VGG网络的经典思想非常适合纹理简单的图像。批归一化BatchNorm加速训练提供轻微的正则化效果允许使用更高的学习率。池化层MaxPooling逐步降低空间分辨率增加特征图的感受野同时提供一定的平移不变性。Dropout在全连接层前使用较高的Dropout率0.5是应对小数据集过拟合的利器。它强迫网络不依赖于少数神经元学习更鲁棒的特征。输出层线性层输出num_classes个logits对应每个甲骨文字符的类别。4.2 损失函数与样本不均衡处理我们使用了带权重的交叉熵损失Weighted CrossEntropyLoss。权重与每个类别样本数的倒数成正比这样样本少的类别在计算损失时会被赋予更大的权重。def calculate_class_weights(data_loader, num_classes): 计算每个类别的权重 class_counts torch.zeros(num_classes) for _, labels in data_loader: for label in labels: class_counts[label] 1 # 权重 总样本数 / (类别数 * 该类样本数) # 平滑处理避免除零 weights (class_counts.sum() / (num_classes * class_counts)).clamp(min1e-5) # 归一化使权重之和等于类别数可选主要看损失尺度 # weights weights / weights.sum() * num_classes return weights # 假设train_loader是训练数据加载器num_classes已知 class_weights calculate_class_weights(train_loader, num_classes) # 将权重转移到模型所在的设备GPU/CPU class_weights class_weights.to(device) criterion nn.CrossEntropyLoss(weightclass_weights)此外我们还尝试了Focal Loss。它通过(1-p_t)^gamma项降低易分类样本预测概率p_t高的损失贡献让模型更关注难分类的样本通常是少数类或难例。class FocalLoss(nn.Module): def __init__(self, alphaNone, gamma2.0): super(FocalLoss, self).__init__() self.alpha alpha # 可选的类别权重向量 self.gamma gamma def forward(self, inputs, targets): ce_loss F.cross_entropy(inputs, targets, reductionnone, weightself.alpha) pt torch.exp(-ce_loss) # p_t focal_loss ((1 - pt) ** self.gamma) * ce_loss return focal_loss.mean()实测中对于甲骨文这种内部差异大、难易样本混杂的数据Focal Lossgamma2有时比带权重的交叉熵表现略好但需要更多的超参数调试。4.3 数据增强策略数据增强是另一种应对数据稀缺和过拟合的核心手段。我们使用了torchvision.transforms来构建一个强增强流水线。from torchvision import transforms train_transform transforms.Compose([ transforms.ToPILImage(), # 将numpy数组转为PIL图像 transforms.RandomRotation(degrees10), # 随机旋转±10度 transforms.RandomAffine(degrees0, translate(0.1, 0.1), scale(0.9, 1.1)), # 随机平移和缩放 transforms.RandomHorizontalFlip(p0.5), # 50%概率水平翻转甲骨文左右结构可能不对称慎用或不用 transforms.RandomVerticalFlip(p0.5), # 50%概率垂直翻转慎用 # 针对甲骨文我们更倾向于使用弹性形变来模拟拓片扭曲 # 可以使用 transforms.RandomPerspective 或自定义弹性形变 transforms.ColorJitter(brightness0.2, contrast0.2), # 随机调整亮度和对比度 transforms.ToTensor(), # 转为Tensor并归一化到[0,1] # 可以添加自定义的噪声模拟拓片污渍 transforms.Lambda(lambda x: x torch.randn_like(x) * 0.05 if torch.rand(1) 0.5 else x), ])重要提示对于甲骨文翻转Flip增强要极其小心很多甲骨文字形是非对称的水平或垂直翻转会生成无效的、现实中不存在的字符误导模型。我们最终去掉了翻转主要依赖旋转、平移、缩放和弹性形变。弹性形变模拟纸张或拓片的物理形变对提升模型鲁棒性非常有效。5. 模型训练、集成与调优实战有了数据、模型和损失函数训练过程就是将它们串联起来的艺术。我们使用PyTorch Lightning来组织代码让逻辑更清晰。5.1 训练循环与验证监控import pytorch_lightning as pl from torchmetrics import Accuracy class OracleModel(pl.LightningModule): def __init__(self, model, learning_rate1e-3, class_weightsNone): super().__init__() self.model model self.lr learning_rate self.criterion nn.CrossEntropyLoss(weightclass_weights) # 使用TorchMetrics记录准确率 self.train_acc Accuracy(taskmulticlass, num_classesnum_classes) self.val_acc Accuracy(taskmulticlass, num_classesnum_classes) def forward(self, x): return self.model(x) def training_step(self, batch, batch_idx): x, y batch logits self(x) loss self.criterion(logits, y) preds torch.argmax(logits, dim1) self.train_acc(preds, y) self.log(train_loss, loss, on_stepTrue, on_epochTrue, prog_barTrue) self.log(train_acc, self.train_acc, on_stepTrue, on_epochTrue, prog_barTrue) return loss def validation_step(self, batch, batch_idx): x, y batch logits self(x) loss self.criterion(logits, y) preds torch.argmax(logits, dim1) self.val_acc(preds, y) self.log(val_loss, loss, on_epochTrue, prog_barTrue) self.log(val_acc, self.val_acc, on_epochTrue, prog_barTrue) def configure_optimizers(self): optimizer torch.optim.AdamW(self.parameters(), lrself.lr, weight_decay1e-4) # 使用余弦退火学习率调度带热重启 scheduler torch.optim.lr_scheduler.CosineAnnealingWarmRestarts(optimizer, T_010, T_mult2) return [optimizer], [scheduler]关键点优化器选择AdamW而不是Adam。AdamW将权重衰减正则化与梯度更新解耦理论更优实践中也通常有更好或相当的泛化性能。学习率调度CosineAnnealingWarmRestarts余弦退火热重启在比赛和研究中很流行。它周期性地将学习率从初始值降到接近0然后突然“重启”到一个较高值。这种“震荡下降”有助于模型跳出局部最优找到更平坦的极小值通常能提升泛化能力。日志记录使用self.log自动记录到PyTorch Lightning的日志器并可以在WB等工具中实时查看。5.2 超参数调优与模型集成我们采用了贝叶斯优化进行超参数搜索目标是最大化验证集准确率。搜索空间包括学习率、批大小、Dropout率、数据增强强度、模型深度/宽度等。训练多个模型后模型集成是提升最终性能的强有力手段。我们采用了两种简单有效的集成方法投票法集成训练K个不同的模型可以是不同初始化、不同数据增强、不同架构变体。预测时每个模型对测试样本给出一个类别最终类别为K个预测中出现次数最多的那个硬投票。def hard_vote_predict(models, dataloader, device): all_predictions [] for model in models: model.eval() predictions [] with torch.no_grad(): for x, _ in dataloader: x x.to(device) logits model(x) pred torch.argmax(logits, dim1) predictions.append(pred.cpu()) predictions torch.cat(predictions, dim0) all_predictions.append(predictions) # all_predictions: [K, N] all_predictions torch.stack(all_predictions, dim0) # 沿模型维度进行众数投票 final_predictions, _ torch.mode(all_predictions, dim0) return final_predictions平均法集成训练K个模型预测时取它们输出logits或softmax后的概率的平均值然后取argmax。def soft_average_predict(models, dataloader, device): all_probs [] for model in models: model.eval() probs_list [] with torch.no_grad(): for x, _ in dataloader: x x.to(device) logits model(x) prob F.softmax(logits, dim1) probs_list.append(prob.cpu()) probs torch.cat(probs_list, dim0) all_probs.append(probs) # all_probs: [K, N, C] all_probs torch.stack(all_probs, dim0) avg_probs torch.mean(all_probs, dim0) final_predictions torch.argmax(avg_probs, dim1) return final_predictions平均法通常比投票法更稳定因为它考虑了模型预测的“置信度”。实操心得集成模型的多样性是关键。不要只是用不同的随机种子训练同一个架构。可以尝试不同的预处理参数、不同的数据增强组合、不同的网络深度如32/64/128的通道数变化、甚至不同的损失函数交叉熵 vs Focal Loss。多样化的模型犯的错误不同集成时才能互相纠正。我们最终集成了5个模型将单一模型的最佳准确率约89%提升到了92.5%。6. 结果后处理与数学建模分析深度学习模型给出预测类别后数学建模的工作远未结束。我们需要用数学语言严谨地评估系统性能并分析其可靠性。6.1 多维度评估指标除了常见的准确率Accuracy我们更关注以下指标因为它们能从不同角度反映模型在类别不均衡数据集上的表现精确率PrecisionTP / (TP FP)。预测为正的样本中真正为正的比例。关注模型“不错判”的能力。召回率RecallTP / (TP FN)。真正的正样本中被模型找出来的比例。关注模型“不漏判”的能力。F1-Score精确率和召回率的调和平均数。2 * P * R / (P R)。是综合衡量。宏平均Macro-average先计算每个类别的指标再求算术平均。每个类别权重相等适合评估模型对少数类的性能。微平均Micro-average汇总所有类别的TP, FP, FN后整体计算。每个样本权重相等受大类影响大。我们用混淆矩阵Confusion Matrix来可视化分析模型在哪些类上容易混淆。例如我们发现模型经常将字形相似的“人”和“入”、“日”和“曰”混淆。这为后续改进提供了明确方向可以设计一个字形相似性纠错模块或者引入度量学习Metric Learning让模型学习到这些易混淆字在特征空间里应该相距更远。6.2 不确定性量化与拒绝判断在实际应用中模型对自己不确定的预测应该“拒绝回答”交由人类专家处理。我们可以用预测概率Softmax输出来度量不确定性。设定一个阈值如0.8如果模型对最高预测类别的概率低于该阈值则判定为“未知”或“难例”。更高级的方法包括蒙特卡洛DropoutMC Dropout。在测试时我们让Dropout层保持开启对同一个输入进行T次前向传播每次Dropout会随机丢弃不同的神经元得到T个预测概率分布。这T个分布的方差或熵可以用来估计模型的认知不确定性模型自身知识的不足。def mc_dropout_predict(model, x, T50): 使用MC Dropout进行不确定性估计 model.train() # 关键测试时也要保持Dropout开启 predictions [] with torch.no_grad(): for _ in range(T): output model(x) prob F.softmax(output, dim1) predictions.append(prob) predictions torch.stack(predictions) # [T, Batch, Classes] mean_prob torch.mean(predictions, dim0) uncertainty torch.std(predictions, dim0).mean(dim1) # 计算概率的标准差作为不确定性度量 return mean_prob, uncertainty高不确定性的样本往往是图像质量极差、字符残缺严重或者是训练集中极少出现的生僻字。在论文中我们展示了不确定性高的样本示例并讨论了其与识别错误率的相关性这体现了数学建模中对模型输出可信度的定量分析思维。6.3 可视化与可解释性为了增强论文的说服力我们使用了Grad-CAM梯度加权类激活映射来可视化模型做出决策时关注了图像的哪些区域。import torch.nn.functional as F def grad_cam(model, img_tensor, target_classNone): model.eval() img_tensor.requires_grad_() output model(img_tensor.unsqueeze(0)) if target_class is None: target_class output.argmax(dim1).item() score output[0, target_class] model.zero_grad() score.backward() # 获取最后一个卷积层的特征图和梯度 # 假设最后一个卷积层是 self.features 中的某个层需要根据实际模型修改 gradients model.features[-1].weight.grad # 获取梯度 pooled_gradients torch.mean(gradients, dim[0, 2, 3]) # 全局平均池化梯度 # 获取特征图 activations model.features[-1].activations.detach() # 需要在前向传播时保存特征图 # 加权求和 for i in range(activations.shape[1]): # 通道维度 activations[:, i, :, :] * pooled_gradients[i] heatmap torch.mean(activations, dim1).squeeze().cpu() heatmap F.relu(heatmap) # 只关心正影响 heatmap (heatmap - heatmap.min()) / (heatmap.max() - heatmap.min()) # 归一化 return heatmap生成的热力图叠加在原图上可以清晰看到模型是否真的“看”到了文字笔画还是被背景噪声误导了。这不仅是技术展示更是对模型决策过程的数学验证和解释符合数学建模论文对逻辑严谨性的要求。7. 参赛总结与避坑指南回顾整个项目从拿到赛题到提交论文是一个典型的“问题分析 - 数学建模 - 算法实现 - 实验验证 - 分析总结”的完整闭环。以下是我们踩过的一些坑和总结的经验希望对后来者有帮助。7.1 常见问题与排查技巧问题模型训练损失不下降准确率随机波动。排查首先检查数据加载和预处理流程。最常见的原因是标签错误或数据增强过于激进导致图像面目全非。用一个简单的模型如逻辑回归在小数据集上过拟合如果连训练集都学不好基本就是数据问题。技巧编写一个数据可视化脚本将每个batch的图像和对应的标签显示出来确保数据流是正确的。问题验证集准确率远低于训练集过拟合严重。排查数据量甲骨文数据本就稀缺检查训练集和验证集划分是否合理验证集是否具有代表性。正则化是否使用了足够的正则化手段Dropout率够不够权重衰减weight_decay参数是否太小模型复杂度模型是否过于复杂尝试减少层数或通道数。技巧优先使用数据增强来对抗过拟合它是最有效的正则化方法之一。其次考虑增加Dropout和权重衰减。早停Early Stopping也是必备的。问题某些类别生僻字的召回率始终为0。排查这是典型的类别不均衡问题。检查这些类别的训练样本数量。技巧重采样对少数类进行过采样如复制、SMOTE等图像生成方法需谨慎可能生成不合理的字形。重加权使用我们提到的带权重的损失函数这是最直接有效的方法。分层采样确保每个batch中都包含所有类别的样本或至少包含多数类和部分少数类。问题训练速度慢GPU利用率低。排查数据加载是否使用了DataLoader的num_workers参数进行多进程加载pin_memoryTrue可以加速CPU到GPU的数据传输。Batch Size在GPU内存允许的情况下增大Batch Size可以提高并行度和训练速度。混合精度训练使用torch.cuda.amp进行自动混合精度训练可以显著减少显存占用并加速训练对精度影响很小。7.2 论文写作与结果呈现要点数学建模竞赛最终成果是一篇论文。技术做得好还要讲得好。摘要用最精炼的语言说明问题、方法、模型、结果和结论。遵循“背景-问题-方法-结果-结论”的逻辑线。模型部分不要只扔出一个神经网络结构图。要用数学语言描述它。例如“设输入图像为矩阵X ∈ R^(H×W)经过卷积层C1其操作定义为Y σ(W * X b)其中*表示卷积运算W为卷积核权重b为偏置σ为ReLU激活函数...”。将预处理步骤也公式化。实验部分数据集划分明确说明训练集、验证集、测试集的比例和划分依据如随机划分、按字符类别分层划分。评价指标列出所有使用的指标及其计算公式。消融实验至关重要通过对比实验证明你每个设计环节如CLAHE预处理、Focal Loss、模型集成的有效性。例如基线模型无预处理交叉熵准确率85%CLAHE后87%Focal Loss后88.5%集成后92.5%。这比单纯说“我们的模型达到了92.5%”有说服力得多。可视化善用图表。包括预处理效果对比图、模型结构图、训练损失/准确率曲线、混淆矩阵、Grad-CAM热力图、不确定性高的样本示例等。结论与展望总结模型优缺点并提出切实可行的改进方向。例如“本模型对清晰、完整的甲骨文单字识别效果良好但对严重粘连或残缺的字形识别率仍有待提升。未来可引入注意力机制Attention让模型更聚焦于文字区域或利用图神经网络GNN对字符的结构化信息进行建模。”最后代码和论文的规范性、可复现性也是重要的评分点。确保提交的代码有清晰的README注明环境依赖和运行步骤论文排版美观引用规范。这些细节往往决定了奖项的最终归属。这道B题是一个绝佳的练手项目它逼着你将数学、编程和领域知识融合在一起去解决一个真实而有趣的问题。无论结果如何这个过程本身的收获远比一纸证书来得重要。 Mathorcup甲骨文识别：深度学习与数学建模的融合实战
1. 项目概述从数学建模到甲骨文识别的跨界实战去年带队打MathorcupB题“甲骨文智能识别”一出来我们团队几个搞算法和搞建模的同学面面相觑感觉这题出得有点“刁钻”。它不像传统的优化或预测题给你一堆数据去拟合而是直接把一个前沿的计算机视觉问题——古文字识别包装成了数学建模的赛题。这背后反映的趋势很明显数学建模竞赛正在从纯数学模型微分方程、统计分析、优化算法的比拼转向更强调“问题定义-数据理解-模型构建-工程实现”的全流程能力尤其是与人工智能、深度学习的交叉融合。这道题的核心是要求参赛者构建一个能够自动识别拓片图像上甲骨文字符的智能系统。听起来是标准的计算机视觉任务但难点在于“甲骨文”这个特殊对象。它不像MNIST手写数字那样有海量标准数据字形古老、结构复杂、拓片质量参差不齐还有大量的模糊、残缺和粘连。这要求我们不仅要用深度学习模型更要在数据预处理、特征工程、模型设计和后处理上融入我们对问题本身的数学理解和物理建模思维。比如如何用图像处理技术本质是数学变换去增强拓片如何设计损失函数来应对样本极度不均衡常见字和生僻字如何用数学方法评估一个分类模型在古文识别场景下的可靠性这才是这道题真正的挑战和魅力所在。如果你是一个数学、计算机或相关专业的学生或者是对AI传统文化应用感兴趣的开发者这篇复盘将带你完整走一遍我们当时的解题思路、技术选型、代码实现以及踩过的那些坑。你会发现数学建模的思维和深度学习的工程能力在这里是相辅相成的。2. 解题核心思路拆解为什么是“深度学习数学建模”看到“甲骨文智能识别”第一反应可能就是上CNN卷积神经网络。这没错但如果我们只把它当作一个普通的图像分类任务用现成的ResNet、EfficientNet跑一遍大概率成绩平平。数学建模思维要求我们更深一层如何将甲骨文识别的先验知识先验信息和面临的特殊约束问题特性转化为模型设计的一部分。2.1 问题转化与建模框架首先我们把赛题任务分解成一个标准的机器学习流程但每个环节都注入数学建模的思考输入甲骨文拓片灰度图像。这是一个二维离散函数I(x, y)值域为[0, 255]。目标输出图像中单个或多个甲骨文字符的类别标签。这是一个多分类问题类别数等于数据集中不重复的甲骨文字形数量假设为N类。核心挑战建模图像质量差拓片存在噪声、光照不均、背景纹理干扰。这可以建模为原始清晰图像I_clean经过一个退化函数D包含模糊、噪声添加、对比度下降等后的观测值I_obs D(I_clean)。我们的预处理可以看作是在估计逆函数D^{-1}这是一个典型的图像复原问题。字符形变与残缺同一字符在不同拓片上形态有差异。这要求模型具有平移、缩放、旋转、轻微形变的不变性。在数学上我们希望模型学习的函数f(I)对于一组变换T如仿射变换满足f(T(I)) ≈ f(I)。这可以通过数据增强模拟T或在网络结构中加入具有等变性的层如群卷积来实现。类别极度不均衡高频字如“人”、“日”的样本可能上百而生僻字样本可能只有个位数。这直接导致以准确率为目标的训练会偏向多数类。我们需要在损失函数层面进行修正例如引入带权重的交叉熵损失其中每个类别的权重与其样本数的倒数成正比从数学上平衡各类别的梯度贡献。我们的整体框架因此确定为“预处理数学方法增强 - 深度学习特征提取与分类核心模型 - 后处理与评估数学统计验证”。2.2 技术栈选型背后的考量为什么选择这些工具每一个选择都有其针对性和权衡。编程语言与核心库Python PyTorchPython生态无敌。数学建模需要的NumPy、SciPy、Pandas图像处理需要的OpenCV、PIL可视化需要的Matplotlib深度学习需要的PyTorch/TensorFlow全部无缝集成。这在有限时间的比赛中是决定性优势。PyTorch相比TensorFlowPyTorch的动态图机制在研究和原型开发阶段更灵活调试直观。对于需要频繁尝试不同网络结构和损失函数的竞赛场景PyTorch的pythonic风格能极大提升效率。深度学习框架选型PyTorch Lightning这是我们的一个“秘密武器”。在纯PyTorch上写训练循环、验证循环、早停、日志记录会占用大量代码量。PyTorch Lightning将工程样板代码抽象化让我们只需关注核心的模型架构、数据流水线和损失函数。它能自动处理设备切换CPU/GPU、混合精度训练、梯度累积等让代码更简洁且不易出错。在争分夺秒的比赛中这能节省至少30%的调试时间。图像处理库OpenCV功能全面且高效。用于实现我们自定义的预处理流水线如自适应阈值二值化、形态学操作、轮廓查找等。这些传统算法虽然“老”但在为深度学习模型准备高质量输入数据时往往比盲目堆叠网络层更有效。辅助工具Weights Biases (WB)模型训练的可视化和追踪工具。可以实时记录损失、准确率曲线可视化模型预测结果还能做超参数扫描。它就像实验的“黑匣子”所有训练过程都被完整记录方便我们回溯分析模型性能变化的原因对于撰写论文中的实验分析部分提供了极大便利。实操心得在赛前准备环境时一定要用conda或venv创建独立的虚拟环境并精确记录所有包的版本号pip freeze requirements.txt。我们曾因为一台电脑上的torchvision版本不一致导致数据增强行为不同在模型集成时出现了难以排查的偏差。3. 数据预处理用数学方法为模型“洗菜”原始拓片图像是模型性能的第一个天花板。我们的预处理流水线目标明确突出前景文字抑制背景石板纹理、噪声并将图像规格化。3.1 预处理流水线步骤详解我们的流程是顺序执行的每一步都基于前一步的结果灰度化与归一化import cv2 import numpy as np def preprocess_image(image_path): # 读取图像强制转为灰度图 img cv2.imread(image_path, cv2.IMREAD_GRAYSCALE) # 归一化到 [0, 1] 区间有利于网络训练稳定 img_normalized img.astype(np.float32) / 255.0 return img_normalized这步很简单但必不可少。将像素值从[0,255]映射到[0,1]符合神经网络激活函数如Sigmoid, Tanh的典型输入范围能加速训练收敛。对比度受限的自适应直方图均衡化CLAHE 拓片常局部过亮或过暗。全局直方图均衡化会放大噪声。CLAHE将图像分块在每个小块内进行均衡化并用双线性插值消除块间边界从而增强局部对比度而不引入过多噪声。def apply_clahe(img, clip_limit2.0, tile_grid_size(8,8)): # 创建CLAHE对象 clahe cv2.createCLAHE(clipLimitclip_limit, tileGridSizetile_grid_size) # 应用CLAHE注意输入需要是0-255的uint8类型 img_uint8 (img * 255).astype(np.uint8) img_clahe clahe.apply(img_uint8) return img_clahe.astype(np.float32) / 255.0clip_limit参数控制对比度增强的强度tile_grid_size决定分块大小。我们通过网格搜索发现(2.0, (8,8))对于大多数拓片效果较好。自适应阈值二值化 目标是将文字从背景中分离。由于光照不均全局阈值如Otsu效果很差。我们采用高斯加权自适应阈值。def adaptive_threshold(img, block_size15, C2): # block_size: 邻域大小必须为奇数 # C: 从均值或加权均值中减去的常数用于微调 img_uint8 (img * 255).astype(np.uint8) binary cv2.adaptiveThreshold(img_uint8, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV, block_size, C) return binary.astype(np.float32) / 255.0这里使用THRESH_BINARY_INV是因为拓片文字通常是深色背景是浅色我们需要将文字转为白色前景值为1背景转为黑色值为0。形态学操作去噪 二值化后图像会有小的噪声点背景中的黑点和文字笔画上的断裂。我们使用形态学的开运算和闭运算。def morphological_clean(binary_img, kernel_size3): kernel np.ones((kernel_size, kernel_size), np.uint8) # 开运算先腐蚀再膨胀去除小白点噪声 opening cv2.morphologyEx(binary_img, cv2.MORPH_OPEN, kernel) # 闭运算先膨胀再腐蚀连接断裂的小黑点笔画 closing cv2.morphologyEx(opening, cv2.MORPH_CLOSE, kernel) return closing开闭运算的顺序和核大小需要根据实际图像调整。有时笔画很细闭运算的核太大会导致字符粘连需要谨慎。轮廓查找与字符ROI提取 如果赛题提供的是包含多个字符的整张拓片我们需要先定位单个字符。使用cv2.findContours查找连通域然后根据面积、宽高比等几何特征过滤掉非字符区域如大的裂纹、污渍。def extract_char_contours(binary_img, min_area50, max_area5000, min_aspect_ratio0.2, max_aspect_ratio5.0): contours, _ cv2.findContours((binary_img*255).astype(np.uint8), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) char_contours [] for cnt in contours: area cv2.contourArea(cnt) x, y, w, h cv2.boundingRect(cnt) aspect_ratio w / float(h) if h ! 0 else 0 if min_area area max_area and min_aspect_ratio aspect_ratio max_aspect_ratio: # 符合字符特征的轮廓 char_contours.append((x, y, w, h)) # 按x坐标排序假设文字大致水平排列 char_contours sorted(char_contours, keylambda b: b[0]) return char_contours提取出的每个字符区域(ROI)会被统一缩放到一个固定尺寸如64x64作为神经网络的输入。注意事项预处理的所有参数如CLAHE的clip_limit、阈值化的block_size、形态学核大小、轮廓面积阈值都不是固定的。必须准备一个小的验证集用肉眼观察预处理效果来调整这些参数。自动化很重要但人的视觉判断在初期调参阶段无可替代。我们编写了一个可视化脚本将原始图、每一步处理后的图并排显示快速评估参数影响。4. 深度学习模型构建设计适合甲骨文的神经网络我们放弃了直接使用ImageNet预训练模型如ResNet50的念头。因为ImageNet是自然图像纹理、颜色、层次丰富而甲骨文是二值或灰度化的稀疏线条图案特征空间差异巨大。预训练模型底层提取的边缘、纹理特征可能有用但高层语义特征迁移价值不大且模型复杂度高在小数据集上容易过拟合。4.1 自定义CNN架构设计我们设计了一个轻量级但有针对性的CNN模型其设计哲学是浅层捕捉笔画局部特征点、线、角中层组合成部件特征部首、结构高层进行全局分类。import torch import torch.nn as nn import torch.nn.functional as F class OracleBoneCNN(nn.Module): def __init__(self, num_classes): super(OracleBoneCNN, self).__init__() # 输入假设为 1x64x64 (通道x高x宽) # 特征提取模块 self.features nn.Sequential( # Block 1: 捕捉基础边缘和角点 nn.Conv2d(1, 32, kernel_size3, padding1), # 输出: 32x64x64 nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.Conv2d(32, 32, kernel_size3, padding1), # 输出: 32x64x64 nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.MaxPool2d(kernel_size2, stride2), # 输出: 32x32x32 # Block 2: 组合成简单部件 nn.Conv2d(32, 64, kernel_size3, padding1), # 输出: 64x32x32 nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.Conv2d(64, 64, kernel_size3, padding1), # 输出: 64x32x32 nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.MaxPool2d(kernel_size2, stride2), # 输出: 64x16x16 # Block 3: 捕捉更高阶的字符结构 nn.Conv2d(64, 128, kernel_size3, padding1), # 输出: 128x16x16 nn.BatchNorm2d(128), nn.ReLU(inplaceTrue), nn.Conv2d(128, 128, kernel_size3, padding1), # 输出: 128x16x16 nn.BatchNorm2d(128), nn.ReLU(inplaceTrue), nn.MaxPool2d(kernel_size2, stride2), # 输出: 128x8x8 ) # 分类头 self.classifier nn.Sequential( nn.Dropout(p0.5), # 强正则化防止过拟合 nn.Linear(128 * 8 * 8, 512), nn.ReLU(inplaceTrue), nn.Dropout(p0.5), nn.Linear(512, num_classes) ) def forward(self, x): x self.features(x) x torch.flatten(x, 1) # 展平: (batch, 128*8*8) x self.classifier(x) return x设计要点解析小卷积核3x3堆叠小卷积核在拥有相同感受野的情况下比大卷积核参数更少非线性更强。这是VGG网络的经典思想非常适合纹理简单的图像。批归一化BatchNorm加速训练提供轻微的正则化效果允许使用更高的学习率。池化层MaxPooling逐步降低空间分辨率增加特征图的感受野同时提供一定的平移不变性。Dropout在全连接层前使用较高的Dropout率0.5是应对小数据集过拟合的利器。它强迫网络不依赖于少数神经元学习更鲁棒的特征。输出层线性层输出num_classes个logits对应每个甲骨文字符的类别。4.2 损失函数与样本不均衡处理我们使用了带权重的交叉熵损失Weighted CrossEntropyLoss。权重与每个类别样本数的倒数成正比这样样本少的类别在计算损失时会被赋予更大的权重。def calculate_class_weights(data_loader, num_classes): 计算每个类别的权重 class_counts torch.zeros(num_classes) for _, labels in data_loader: for label in labels: class_counts[label] 1 # 权重 总样本数 / (类别数 * 该类样本数) # 平滑处理避免除零 weights (class_counts.sum() / (num_classes * class_counts)).clamp(min1e-5) # 归一化使权重之和等于类别数可选主要看损失尺度 # weights weights / weights.sum() * num_classes return weights # 假设train_loader是训练数据加载器num_classes已知 class_weights calculate_class_weights(train_loader, num_classes) # 将权重转移到模型所在的设备GPU/CPU class_weights class_weights.to(device) criterion nn.CrossEntropyLoss(weightclass_weights)此外我们还尝试了Focal Loss。它通过(1-p_t)^gamma项降低易分类样本预测概率p_t高的损失贡献让模型更关注难分类的样本通常是少数类或难例。class FocalLoss(nn.Module): def __init__(self, alphaNone, gamma2.0): super(FocalLoss, self).__init__() self.alpha alpha # 可选的类别权重向量 self.gamma gamma def forward(self, inputs, targets): ce_loss F.cross_entropy(inputs, targets, reductionnone, weightself.alpha) pt torch.exp(-ce_loss) # p_t focal_loss ((1 - pt) ** self.gamma) * ce_loss return focal_loss.mean()实测中对于甲骨文这种内部差异大、难易样本混杂的数据Focal Lossgamma2有时比带权重的交叉熵表现略好但需要更多的超参数调试。4.3 数据增强策略数据增强是另一种应对数据稀缺和过拟合的核心手段。我们使用了torchvision.transforms来构建一个强增强流水线。from torchvision import transforms train_transform transforms.Compose([ transforms.ToPILImage(), # 将numpy数组转为PIL图像 transforms.RandomRotation(degrees10), # 随机旋转±10度 transforms.RandomAffine(degrees0, translate(0.1, 0.1), scale(0.9, 1.1)), # 随机平移和缩放 transforms.RandomHorizontalFlip(p0.5), # 50%概率水平翻转甲骨文左右结构可能不对称慎用或不用 transforms.RandomVerticalFlip(p0.5), # 50%概率垂直翻转慎用 # 针对甲骨文我们更倾向于使用弹性形变来模拟拓片扭曲 # 可以使用 transforms.RandomPerspective 或自定义弹性形变 transforms.ColorJitter(brightness0.2, contrast0.2), # 随机调整亮度和对比度 transforms.ToTensor(), # 转为Tensor并归一化到[0,1] # 可以添加自定义的噪声模拟拓片污渍 transforms.Lambda(lambda x: x torch.randn_like(x) * 0.05 if torch.rand(1) 0.5 else x), ])重要提示对于甲骨文翻转Flip增强要极其小心很多甲骨文字形是非对称的水平或垂直翻转会生成无效的、现实中不存在的字符误导模型。我们最终去掉了翻转主要依赖旋转、平移、缩放和弹性形变。弹性形变模拟纸张或拓片的物理形变对提升模型鲁棒性非常有效。5. 模型训练、集成与调优实战有了数据、模型和损失函数训练过程就是将它们串联起来的艺术。我们使用PyTorch Lightning来组织代码让逻辑更清晰。5.1 训练循环与验证监控import pytorch_lightning as pl from torchmetrics import Accuracy class OracleModel(pl.LightningModule): def __init__(self, model, learning_rate1e-3, class_weightsNone): super().__init__() self.model model self.lr learning_rate self.criterion nn.CrossEntropyLoss(weightclass_weights) # 使用TorchMetrics记录准确率 self.train_acc Accuracy(taskmulticlass, num_classesnum_classes) self.val_acc Accuracy(taskmulticlass, num_classesnum_classes) def forward(self, x): return self.model(x) def training_step(self, batch, batch_idx): x, y batch logits self(x) loss self.criterion(logits, y) preds torch.argmax(logits, dim1) self.train_acc(preds, y) self.log(train_loss, loss, on_stepTrue, on_epochTrue, prog_barTrue) self.log(train_acc, self.train_acc, on_stepTrue, on_epochTrue, prog_barTrue) return loss def validation_step(self, batch, batch_idx): x, y batch logits self(x) loss self.criterion(logits, y) preds torch.argmax(logits, dim1) self.val_acc(preds, y) self.log(val_loss, loss, on_epochTrue, prog_barTrue) self.log(val_acc, self.val_acc, on_epochTrue, prog_barTrue) def configure_optimizers(self): optimizer torch.optim.AdamW(self.parameters(), lrself.lr, weight_decay1e-4) # 使用余弦退火学习率调度带热重启 scheduler torch.optim.lr_scheduler.CosineAnnealingWarmRestarts(optimizer, T_010, T_mult2) return [optimizer], [scheduler]关键点优化器选择AdamW而不是Adam。AdamW将权重衰减正则化与梯度更新解耦理论更优实践中也通常有更好或相当的泛化性能。学习率调度CosineAnnealingWarmRestarts余弦退火热重启在比赛和研究中很流行。它周期性地将学习率从初始值降到接近0然后突然“重启”到一个较高值。这种“震荡下降”有助于模型跳出局部最优找到更平坦的极小值通常能提升泛化能力。日志记录使用self.log自动记录到PyTorch Lightning的日志器并可以在WB等工具中实时查看。5.2 超参数调优与模型集成我们采用了贝叶斯优化进行超参数搜索目标是最大化验证集准确率。搜索空间包括学习率、批大小、Dropout率、数据增强强度、模型深度/宽度等。训练多个模型后模型集成是提升最终性能的强有力手段。我们采用了两种简单有效的集成方法投票法集成训练K个不同的模型可以是不同初始化、不同数据增强、不同架构变体。预测时每个模型对测试样本给出一个类别最终类别为K个预测中出现次数最多的那个硬投票。def hard_vote_predict(models, dataloader, device): all_predictions [] for model in models: model.eval() predictions [] with torch.no_grad(): for x, _ in dataloader: x x.to(device) logits model(x) pred torch.argmax(logits, dim1) predictions.append(pred.cpu()) predictions torch.cat(predictions, dim0) all_predictions.append(predictions) # all_predictions: [K, N] all_predictions torch.stack(all_predictions, dim0) # 沿模型维度进行众数投票 final_predictions, _ torch.mode(all_predictions, dim0) return final_predictions平均法集成训练K个模型预测时取它们输出logits或softmax后的概率的平均值然后取argmax。def soft_average_predict(models, dataloader, device): all_probs [] for model in models: model.eval() probs_list [] with torch.no_grad(): for x, _ in dataloader: x x.to(device) logits model(x) prob F.softmax(logits, dim1) probs_list.append(prob.cpu()) probs torch.cat(probs_list, dim0) all_probs.append(probs) # all_probs: [K, N, C] all_probs torch.stack(all_probs, dim0) avg_probs torch.mean(all_probs, dim0) final_predictions torch.argmax(avg_probs, dim1) return final_predictions平均法通常比投票法更稳定因为它考虑了模型预测的“置信度”。实操心得集成模型的多样性是关键。不要只是用不同的随机种子训练同一个架构。可以尝试不同的预处理参数、不同的数据增强组合、不同的网络深度如32/64/128的通道数变化、甚至不同的损失函数交叉熵 vs Focal Loss。多样化的模型犯的错误不同集成时才能互相纠正。我们最终集成了5个模型将单一模型的最佳准确率约89%提升到了92.5%。6. 结果后处理与数学建模分析深度学习模型给出预测类别后数学建模的工作远未结束。我们需要用数学语言严谨地评估系统性能并分析其可靠性。6.1 多维度评估指标除了常见的准确率Accuracy我们更关注以下指标因为它们能从不同角度反映模型在类别不均衡数据集上的表现精确率PrecisionTP / (TP FP)。预测为正的样本中真正为正的比例。关注模型“不错判”的能力。召回率RecallTP / (TP FN)。真正的正样本中被模型找出来的比例。关注模型“不漏判”的能力。F1-Score精确率和召回率的调和平均数。2 * P * R / (P R)。是综合衡量。宏平均Macro-average先计算每个类别的指标再求算术平均。每个类别权重相等适合评估模型对少数类的性能。微平均Micro-average汇总所有类别的TP, FP, FN后整体计算。每个样本权重相等受大类影响大。我们用混淆矩阵Confusion Matrix来可视化分析模型在哪些类上容易混淆。例如我们发现模型经常将字形相似的“人”和“入”、“日”和“曰”混淆。这为后续改进提供了明确方向可以设计一个字形相似性纠错模块或者引入度量学习Metric Learning让模型学习到这些易混淆字在特征空间里应该相距更远。6.2 不确定性量化与拒绝判断在实际应用中模型对自己不确定的预测应该“拒绝回答”交由人类专家处理。我们可以用预测概率Softmax输出来度量不确定性。设定一个阈值如0.8如果模型对最高预测类别的概率低于该阈值则判定为“未知”或“难例”。更高级的方法包括蒙特卡洛DropoutMC Dropout。在测试时我们让Dropout层保持开启对同一个输入进行T次前向传播每次Dropout会随机丢弃不同的神经元得到T个预测概率分布。这T个分布的方差或熵可以用来估计模型的认知不确定性模型自身知识的不足。def mc_dropout_predict(model, x, T50): 使用MC Dropout进行不确定性估计 model.train() # 关键测试时也要保持Dropout开启 predictions [] with torch.no_grad(): for _ in range(T): output model(x) prob F.softmax(output, dim1) predictions.append(prob) predictions torch.stack(predictions) # [T, Batch, Classes] mean_prob torch.mean(predictions, dim0) uncertainty torch.std(predictions, dim0).mean(dim1) # 计算概率的标准差作为不确定性度量 return mean_prob, uncertainty高不确定性的样本往往是图像质量极差、字符残缺严重或者是训练集中极少出现的生僻字。在论文中我们展示了不确定性高的样本示例并讨论了其与识别错误率的相关性这体现了数学建模中对模型输出可信度的定量分析思维。6.3 可视化与可解释性为了增强论文的说服力我们使用了Grad-CAM梯度加权类激活映射来可视化模型做出决策时关注了图像的哪些区域。import torch.nn.functional as F def grad_cam(model, img_tensor, target_classNone): model.eval() img_tensor.requires_grad_() output model(img_tensor.unsqueeze(0)) if target_class is None: target_class output.argmax(dim1).item() score output[0, target_class] model.zero_grad() score.backward() # 获取最后一个卷积层的特征图和梯度 # 假设最后一个卷积层是 self.features 中的某个层需要根据实际模型修改 gradients model.features[-1].weight.grad # 获取梯度 pooled_gradients torch.mean(gradients, dim[0, 2, 3]) # 全局平均池化梯度 # 获取特征图 activations model.features[-1].activations.detach() # 需要在前向传播时保存特征图 # 加权求和 for i in range(activations.shape[1]): # 通道维度 activations[:, i, :, :] * pooled_gradients[i] heatmap torch.mean(activations, dim1).squeeze().cpu() heatmap F.relu(heatmap) # 只关心正影响 heatmap (heatmap - heatmap.min()) / (heatmap.max() - heatmap.min()) # 归一化 return heatmap生成的热力图叠加在原图上可以清晰看到模型是否真的“看”到了文字笔画还是被背景噪声误导了。这不仅是技术展示更是对模型决策过程的数学验证和解释符合数学建模论文对逻辑严谨性的要求。7. 参赛总结与避坑指南回顾整个项目从拿到赛题到提交论文是一个典型的“问题分析 - 数学建模 - 算法实现 - 实验验证 - 分析总结”的完整闭环。以下是我们踩过的一些坑和总结的经验希望对后来者有帮助。7.1 常见问题与排查技巧问题模型训练损失不下降准确率随机波动。排查首先检查数据加载和预处理流程。最常见的原因是标签错误或数据增强过于激进导致图像面目全非。用一个简单的模型如逻辑回归在小数据集上过拟合如果连训练集都学不好基本就是数据问题。技巧编写一个数据可视化脚本将每个batch的图像和对应的标签显示出来确保数据流是正确的。问题验证集准确率远低于训练集过拟合严重。排查数据量甲骨文数据本就稀缺检查训练集和验证集划分是否合理验证集是否具有代表性。正则化是否使用了足够的正则化手段Dropout率够不够权重衰减weight_decay参数是否太小模型复杂度模型是否过于复杂尝试减少层数或通道数。技巧优先使用数据增强来对抗过拟合它是最有效的正则化方法之一。其次考虑增加Dropout和权重衰减。早停Early Stopping也是必备的。问题某些类别生僻字的召回率始终为0。排查这是典型的类别不均衡问题。检查这些类别的训练样本数量。技巧重采样对少数类进行过采样如复制、SMOTE等图像生成方法需谨慎可能生成不合理的字形。重加权使用我们提到的带权重的损失函数这是最直接有效的方法。分层采样确保每个batch中都包含所有类别的样本或至少包含多数类和部分少数类。问题训练速度慢GPU利用率低。排查数据加载是否使用了DataLoader的num_workers参数进行多进程加载pin_memoryTrue可以加速CPU到GPU的数据传输。Batch Size在GPU内存允许的情况下增大Batch Size可以提高并行度和训练速度。混合精度训练使用torch.cuda.amp进行自动混合精度训练可以显著减少显存占用并加速训练对精度影响很小。7.2 论文写作与结果呈现要点数学建模竞赛最终成果是一篇论文。技术做得好还要讲得好。摘要用最精炼的语言说明问题、方法、模型、结果和结论。遵循“背景-问题-方法-结果-结论”的逻辑线。模型部分不要只扔出一个神经网络结构图。要用数学语言描述它。例如“设输入图像为矩阵X ∈ R^(H×W)经过卷积层C1其操作定义为Y σ(W * X b)其中*表示卷积运算W为卷积核权重b为偏置σ为ReLU激活函数...”。将预处理步骤也公式化。实验部分数据集划分明确说明训练集、验证集、测试集的比例和划分依据如随机划分、按字符类别分层划分。评价指标列出所有使用的指标及其计算公式。消融实验至关重要通过对比实验证明你每个设计环节如CLAHE预处理、Focal Loss、模型集成的有效性。例如基线模型无预处理交叉熵准确率85%CLAHE后87%Focal Loss后88.5%集成后92.5%。这比单纯说“我们的模型达到了92.5%”有说服力得多。可视化善用图表。包括预处理效果对比图、模型结构图、训练损失/准确率曲线、混淆矩阵、Grad-CAM热力图、不确定性高的样本示例等。结论与展望总结模型优缺点并提出切实可行的改进方向。例如“本模型对清晰、完整的甲骨文单字识别效果良好但对严重粘连或残缺的字形识别率仍有待提升。未来可引入注意力机制Attention让模型更聚焦于文字区域或利用图神经网络GNN对字符的结构化信息进行建模。”最后代码和论文的规范性、可复现性也是重要的评分点。确保提交的代码有清晰的README注明环境依赖和运行步骤论文排版美观引用规范。这些细节往往决定了奖项的最终归属。这道B题是一个绝佳的练手项目它逼着你将数学、编程和领域知识融合在一起去解决一个真实而有趣的问题。无论结果如何这个过程本身的收获远比一纸证书来得重要。