在深度学习训练成本居高不下的今天整个行业都在拼命堆数据、堆算力、堆显卡。确实规模效应带来了大模型的爆发但对于绝大多数中小团队、高校实验室和创业公司来说上千万的标注样本和几百万的算力预算并不现实。数据不够、机器不够、时间不够是更普遍的日常。最近哈佛大学刘冰彬在一个学术分享中抛出了一个看起来反直觉的命题更少更快更强——重复使用较小的数据集反而能加速学习。这句话值得认真拆解。它并不是说“数据不重要”也不是鼓励大家回到小作坊式的训练方式而是在提醒我们当数据规模无法继续增长时策略层面还有巨大的优化空间。更少的样本如果选择得当、组织得当、复用得当可以在收敛速度和最终表现上跑赢那些“样本更多但管理粗糙”的方案。这篇博客就围绕这句话展开我会先把概念讲清楚然后落到代码给出一个可以复用的最小实践路径。读完这篇文章你可以理解三件事第一为什么小数据集在某些情况下能比大数据集训练得更快更稳第二怎么从已有数据中筛选出更高质量的“核心集”第三怎么通过课程学习、数据复重和循环训练在工程上把“少而精”变成现实收益。1. 这篇文章真正要解决的问题很久以来我们对学习的理解被“大就是好”主导了。预训练模型动辄几十亿参数训练数据要用 TB 来衡量每次实验的成本以万为单位计算。这种范式有两个隐含前提一是你有足够的数据二是你有足够的算力。现实往往是数据可能有一些但质量参差不齐算力可能有限但项目周期非常紧。于是大量团队被卡在一个尴尬位置——不敢用小数据怕欠拟合怕泛化不行又搞不到大数据预算和人力都不允许。“更少更快更强”这个研究命题恰好切中了这个困境。它关心的核心问题不是“怎么找到更多数据”而是“怎么让有限的数据发挥更高的训练效率”。这句话里包含三个独立的优化维度更少样本数量降下来但样本的信息密度升上去更快训练轮次、收敛速度得到优化单位时间能迭代更多次更强最终模型的泛化能力不降反升。对开发者而言这是一套非常实用的方法论。它不需要你推翻已有的训练框架不需要大规模改造基础设施只需要在数据组织和训练流程上做合理的策略调整。如果你正在做一个小样本分类任务或者你在用私有数据集做领域模型的微调又或者你只是想缩短每次训练的实验周期这篇文章的思路都可以直接借鉴。这里也先给一个判断小数据集复用的价值不在于替代大数据预训练而在于让算力和数据有限的人把每一份样本的使用效率拉到更高。它不是一种妥协而是一种更精细的资源管理策略。2. “更少更快更强”背后的核心概念与原理2.1 三个关键词的技术内涵“更少”不是一个绝对数量而是一个相对概念。同样一个分类任务用一万张图能训到 90% 准确率用三千张图也能训到 90% 准确率那这三千张图就是一个高质量的“核心集”。更少的含义是在保证分布覆盖的前提下去掉冗余样本保留最具代表性的那部分数据。“更快”包含两个层面。第一层面是计算层面的快样本少了每个 epoch 的迭代时间线性下降同样的时间内可以跑更多轮实验。第二层面是优化层面的快更小的数据量意味着梯度更新更加集中模型能够更快地越过损失函数的平坦区域尤其当训练集经过精心排序时收敛速度可以明显改善。“更强”则是最终目标。它依赖于两个机制一是高质量样本消除了噪声和歧义模型没有被“脏数据”带偏二是复用策略相当于在有限样本上进行了多次有效的参数更新让模型对关键特征产生了更强的记忆。这里的“强”不是指在训练集上的分数高而是指在验证集、测试集甚至真实业务数据上的泛化能力强。2.2 为什么小数据集能够加速学习从直观经验看很多人会认为“数据越少模型越容易过拟合”。但如果数据选择足够好这个结论并不总是成立。小数据集加速学习的原因主要有三个。第一迭代成本降低。深度学习训练是一个不断试错的过程模型结构、超参数、数据增强方式都需要多次实验。样本越少单轮实验耗时越短你就有更多预算去尝试不同的配置组合。从工程角度看更快的实验循环本身就是一种加速。第二关键样本的影响被放大。在大数据集中重要样本很容易被大量普通样本稀释。小数据集经过筛选后每个样本都是经过挑选的“关键先生”模型每次更新都能学到更有区分度的特征。这相当于训练过程中始终在进行难例挖掘。第三重复次数增加模型有更多机会逼近最优解。同样的数据在大数据集方案里可能只被看到十次在小数据集方案里可以被看到三十次甚至更多。模型对同一批重要样本进行多轮精细拟合参数收敛得更稳定。这也解释了“重复使用”为什么是策略的核心——它把有限样本的价值榨取到了极致。2.3 与常见训练策略的区别这里需要做一些概念区分避免读者把它们混为一谈。策略核心手段适用场景与小数据集复用的关系数据增强对原始样本做变换生成新样本样本量少但需要扩充分布可以配合使用增强能提升样本多样性少样本学习利用元学习或先验知识快速适应新任务每个类别只有几个样本侧重跨任务泛化小数据集复用侧重单任务训练效率课程学习按难度排序样本从易到难训练训练不稳定或收敛慢是小数据集“更快”的关键手段之一核心集选择从原始数据中筛选代表性子集数据冗余度较高是“更少”的直接实现方式数据蒸馏用合成样本替代真实样本训练模型需要极大压缩数据规模是“重复使用”的极端形式很容易被误解的一点是“小数据集复用”和“数据增强”听起来很像但出发点完全不同。数据增强是在数据空间里做文章目标是增加样本量小数据集复用是在训练策略上做文章目标是提升样本使用效率。两者不冲突甚至可以叠加使用。3. 更少数据清洗与核心集选择3.1 数据清洗是第一步很多人一上来就谈模型结构、调参技巧却忽略了最基础的数据质量。小数据集方案对数据质量尤其敏感——本来样本就少再混入错标、重影、无关内容模型很容易学到错误模式。数据清洗至少要做三件事去重删除完全重复或高度相似的样本避免模型对重复模式过度拟合去错审查标签与内容是否匹配错标样本是污染源去偏检查类别分布是否严重失衡必要的时候做类目重采样。这一步没有太多高深算法考验的是细心和流程规范。如果团队有标注人力建议在清洗阶段做一次二次抽检尤其是模型预测置信度比较低的样本。3.2 核心集选择的基本方法数据清洗完成后如果样本量还是太大核心集选择就开始发挥作用。核心集选择的目标是找出一个子集使模型在这个子集上训练的效果尽量接近全量数据训练的效果。常用方法有四类。随机采样最简单的基线成本低但效果不稳定多样性采样利用聚类或覆盖算法保证选出的样本在特征空间内均匀分布不确定性采样用已有模型预测样本选那些预测置信度低、模型“犹豫”的样本梯度匹配采样选择梯度方向与全量数据梯度方向接近的样本理论上更精确但计算成本较高。从工程角度看聚类式的多样性采样在实现难度和效果之间取得了较好的平衡。下面的示例用 KMeans 在每个类别内做聚类然后挑选离聚类中心最近的样本作为代表逻辑清晰且容易落地。# 文件路径coreset_selection.py import numpy as np from sklearn.cluster import KMeans def select_coreset(features: np.ndarray, labels: np.ndarray, sample_num: int, seed: int 42): 基于 KMeans 的核心集选择。 参数: features: 样本特征矩阵形状 (N, D)通常来自预训练模型 labels: 样本标签形状 (N,) sample_num: 期望选出的样本总数 seed: 随机种子 返回: selected_indices: 被选中的样本下标 np.random.seed(seed) selected_indices [] all_classes np.unique(labels) for cls in all_classes: class_indices np.where(labels cls)[0] # 按类别比例分配样本数量 class_ratio len(class_indices) / len(labels) class_budget max(1, int(sample_num * class_ratio)) # 如果该类样本数少于预算直接全部保留 if len(class_indices) class_budget: selected_indices.extend(class_indices.tolist()) continue features_cls features[class_indices] kmeans KMeans(n_clustersclass_budget, random_stateseed, n_init10) kmeans.fit(features_cls) for center in kmeans.cluster_centers_: dist np.linalg.norm(features_cls - center, axis1) nearest_idx class_indices[np.argmin(dist)] selected_indices.append(nearest_idx) return np.array(selected_indices, dtypeint)这个代码的核心思想很简单每个类别内部先聚类选出的代表样本相当于每个聚类分组的“中心发言人”。这样既能保证类别覆盖又能把样本量压缩到目标规模。使用它之前你需要有一个能提取样本特征的工具。如果不想额外训练特征提取器可以直接用预训练模型倒数第二层的输出。3.3 核心集选择的输出效果执行核心集选择后你会得到一份下标数组直接用它对原始数据集做切片即可subset_features features[selected_indices] subset_labels labels[selected_indices]需要提醒的是核心集选择的效果受特征质量影响很大。如果特征提取器本身很差聚类的结果也缺乏代表性。因此在实际项目中建议先用一个较通用的预训练模型提取特征再做选择。如果后续训练效果不佳可以换一个特征提取器重新生成核心集然后把结果对比一下。4. 更快课程学习与样本难度排序4.1 课程学习的原理核心集选择了“学什么”课程学习决定了“先学什么”。课程学习的思想借鉴了人类教育先学简单的知识再逐步过渡到复杂内容。神经网络虽然不像人类那样有认知发展阶段但它对训练样本的敏感性确实存在。先学习容易样本模型能快速建立一个稳定的初始表征之后再进入困难样本梯度更新会更有方向感。这在实际训练中有两个直接的好处。第一早期的 loss 曲线更加平滑模型不会因为一开始就接触大量难样本而剧烈震荡第二训练过程中模型逐渐累积对难样本的处理能力最终收敛效果往往优于随机顺序训练。4.2 样本难度怎么计算计算样本难度没有唯一标准常见的方法有以下几种训练 loss用一个初步训练好的模型跑一次前向loss 高代表样本难预测置信度模型对正确类别给出的概率低代表样本难梯度范数梯度范数大的样本更难人类标注成本标注耗时越长的样本往往越难。工程上最简单的是预测置信度法因为只需要一次前向推理。下面的示例展示如何根据置信度生成训练顺序# 文件路径difficulty_sort.py import numpy as np import torch torch.no_grad() def compute_sample_difficulty(model, dataloader, devicecpu): 通过预测置信度评估样本难度。 返回: difficulty_order: 从难到易的样本下标 confidence: 每个样本的置信度 model.eval() model.to(device) all_conf [] all_indices [] for batch in dataloader: images, labels, indices batch images images.to(device) logits model(images) probs torch.softmax(logits, dim1) # 取正确类别的概率作为置信度 batch_conf probs.gather(1, labels.view(-1, 1)).squeeze() all_conf.append(batch_conf.cpu().numpy()) all_indices.append(indices.numpy()) confidence np.concatenate(all_conf) # 置信度低的样本更难因此升序排列代表从难到易 difficulty_order np.argsort(confidence) return difficulty_order, confidence有了难度排序后再定义训练调度器# 文件路径curriculum_scheduler.py class CurriculumScheduler: def __init__(self, difficulty_order, total_epochs, start_ratio0.3, end_ratio1.0): self.difficulty_order difficulty_order self.total_epochs total_epochs self.start_ratio start_ratio self.end_ratio end_ratio def get_indices(self, epoch): 根据当前 epoch 计算参与训练的样本下标。 ratio self.start_ratio (self.end_ratio - self.start_ratio) * (epoch / self.total_epochs) sample_count max(1, int(len(self.difficulty_order) * ratio)) return self.difficulty_order[:sample_count]调度器的逻辑是第一个 epoch 先使用最难的 30% 样本之外的相对简单样本随着 epoch 推进逐渐把困难样本纳入训练集。这里的start_ratio0.3意味着前 30% 的样本先不参与到最后一个 epoch 时全部样本都参与训练。4.3 课程学习的实践意义在实际视觉任务中课程学习对收敛速度的提升是显而易见的。尤其是在样本分布不均衡、类别难度差异较大的场景下模型前期学习简单类别建立稳定的特征空间后期再学习困难类别可以大幅减少无效更新。配合小数据集使用效果更突出——因为样本少每个样本的影响都很大正确的学习顺序能避免模型被早期难样本带偏。5. 更强数据复用与循环训练策略5.1 数据复用的不同形式重复使用较小的数据集完整理解这句话需要看数据复用的层次。最简单的形式是训练多个 epoch这其实已经是数据复用了。更进一步的复用包括多周期循环同一个数据集在多个训练阶段中被反复使用每个阶段设置不同的学习率或损失权重;跨任务复用把一份已标注数据复用到相似任务中通过迁移学习降低新任务的标注成本数据蒸馏在真实数据上训练一个教师模型然后用梯度信息生成合成样本后续训练只需使用合成数据集。数据蒸馏是“更少”的极端形态。它可以把一千张图片压缩成每个类别一张合成图模型只需要在这几张合成图上训练就能达到接近原始数据训练的效果。虽然数据蒸馏的实践门槛较高但它揭示了一个重要的可能性模型从数据中真正需要的是“知识”而不是“原始像素”。如果能够在压缩样本的同时保留梯度信息那么小数据集的性能极限会被进一步抬高。5.2 多代训练与知识转移另一种复用的思路是“多代训练”。先在小数据集上训练一个模型然后用这个模型对原始大数据集进行难例挖掘筛选出模型目前仍然判断错误的样本放入下一轮训练集。这个策略有点类似于主动学习中的“困难样本发现”每次训练后模型都对数据重新排一次难度下一轮重点学习仍没掌握的样本。这种方式的优势在于数据集的选择不再是静态的而是随着模型能力的变化动态调整。训练初期模型只需要最基础的代表性样本训练中后期模型能力的提升使得它可以挑战更难的样本。整个训练过程就像在有指导的情况下逐步扩大学习范围比单纯随机顺序训练稳定得多。# 文件路径training_pipeline.py # 伪代码演示多代训练流程 model init_model() all_indices np.arange(len(dataset)) for generation in range(num_generations): # 第 1 代使用核心集后续每代加入上一轮中困难样本 if generation 0: train_indices coreset_indices else: train_indices np.concatenate([coreset_indices, hard_indices]) train_model(model, dataset, train_indices) # 评估全量数据找出仍然预测错误的样本 hard_indices evaluate_and_find_hard_samples(model, dataset, dataset.all_indices)这种流水线的工程实现并不复杂只需要在每轮训练结束后加一次全量数据评估。如果数据集本身有几万张的规模评估成本也在可接受范围内。最核心的收益是模型训练变得更加“以困难样本为中心”每一个 epoch 都在解决最该解决的问题。5.3 组合策略在实际项目中最推荐的组合是先做数据清洗再用核心集选择得到初始训练集训练过程中配合课程学习调整样本顺序每轮训练结束后用难例挖掘补充新样本。这套流程把“更少”“更快”“更强”三个目标统一在一个闭环中每一步都有明确的技术手段支撑。6. 环境准备与完整示例6.1 环境依赖本文示例代码以 Python 为主核心框架使用 PyTorch。版本请以实际项目为准这里仅演示通用思路不绑定特定的小版本号。pip install torch pip install torchvision pip install scikit-learn pip install numpy如果你的机器支持 CUDA建议安装对应版本的 PyTorch可以显著缩短训练时间。数据规模较小时CPU 也能跑通完整流程只是速度会慢一些。6.2 文件结构规划一个完整的实验目录建议采用下面的结构project/ ├── data/ # 原始数据 ├── coreset_selection.py # 核心集选择 ├── difficulty_sort.py # 难度评估 ├── curriculum_scheduler.py# 课程调度器 ├── train.py # 训练主脚本 └── config.py # 配置参数这样每个功能点独立成文件便于替换和调试。6.3 完整训练示例下面给出一个最小可行的训练循环它整合了课程学习与核心集选择# 文件路径train.py import torch import torch.nn as nn from torch.utils.data import DataLoader, SubsetRandomSampler from coreset_selection import select_coreset from difficulty_sort import compute_sample_difficulty from curriculum_scheduler import CurriculumScheduler def train_with_curriculum(model, full_dataset, features, labels, epochs50, batch_size64, devicecpu): # 第一步核心集选择 coreset_indices select_coreset(features, labels, sample_num2000) # 第二步利用一个快速预训练模型评估置信度 # 如果训练成本允许这里可以使用一个在验证集上表现较好的模型 temp_loader DataLoader(full_dataset, batch_sizebatch_size) difficulty_order, _ compute_sample_difficulty(model, temp_loader, device) # 第三步课程调度器 scheduler CurriculumScheduler(difficulty_order, total_epochsepochs) # 第四步训练循环 model.train() model.to(device) optimizer torch.optim.AdamW(model.parameters(), lr1e-4) criterion nn.CrossEntropyLoss() for epoch in range(epochs): # 课程学习获取当前 epoch 可用的样本下标 train_indices scheduler.get_indices(epoch) # 与核心集求交集确保只使用“选出的核心样本”“当前课程难度内样本” train_indices np.intersect1d(train_indices, coreset_indices) sampler SubsetRandomSampler(train_indices) loader DataLoader(full_dataset, batch_sizebatch_size, samplersampler) total_loss 0.0 for images, labels_batch in loader: images images.to(device) labels_batch labels_batch.to(device) optimizer.zero_grad() logits model(images) loss criterion(logits, labels_batch) loss.backward() optimizer.step() total_loss loss.item() if (epoch 1) % 10 0: print(fEpoch [{epoch1}/{epochs}], Loss: {total_loss:.4f})这个示例实现了四个核心策略先用核心集选择压缩规模再用预训练模型评估难度接着按课程调度器动态选择样本最后在训练循环中复用有限的样本。如果你的任务比较简单不需要预训练模型也可以把compute_sample_difficulty换成随机难度排列效果虽有折扣但流程不受影响。6.4 运行与验证运行训练脚本python train.py如果一切正常每 10 个 epoch 会输出一次 Loss。判断训练是否成功的标准不是单看 loss 下降而是看验证集准确率是否同步提升。因此建议在训练过程中每隔几个 epoch 保存一次 checkpoint训练结束后用验证集评估。python evaluate.py --checkpoint best_model.pth如果出现 loss 不下降或验证集波动剧烈优先检查三处样本下标是否取到了空集合学习率是否过大难易样本的顺序调度是否合理。7. 常见问题与排查思路问题现象可能原因排查方式解决方案训练 loss 一直在高位徘徊核心集选择的样本代表性不足打印核心集类别分布对比原始数据分布调整 sample_num 或换用不同的特征提取器课程学习出现空训练集难度排序分数异常导致交集为空检查 difficulty_order 的数据范围对下标加边界保护确保至少保留少数样本验证集精度波动很大学习率过高或 batch_size 过小查看 loss 曲线是否震荡降低学习率适当增大 batch_size相同配置但不同随机种子结果差异大小数据集对样本顺序敏感复现时固定随机种子设置全局随机种子做多次实验取平均值训练速度没有明显提升实际使用的样本量没有被压缩检查 train_indices 长度用日志打印每个 epoch 的实际样本数量数据蒸馏合成图质量差蒸馏内循环步数不足或学习率不合适可视化合成图片调整蒸馏迭代次数参考开源实现调参8. 工程实践与团队建议8.1 先做小规模验证再上全量小数据集复用策略的优势在于“实验周期短”。建议团队在实际训练前先用 10% 的样本做一次全流程验证确认数据清洗、核心集选择、课程调度、难例挖掘各个模块都能正常工作。这个阶段不需要追求最好效果只需要把流程跑通、把误差边界找出来。8.2 关注评估指标而不只是 loss小数据集训练很容易在训练集上做得很好但在真实业务上泛化不足。评估时不要只看准确率还要关注类别召回、置信度校准、错误样本分布等因素。如果模型在小数据集上训练后在某个类别上系统性失准通常不是参数问题而是该类别在核心集中的代表不足。8.3 数据版本与实验追踪小数据集方案强调“数据即策略”因此数据版本管理比普通训练流程更重要。每次做核心集选择、数据清洗、难度排序之后都应该把数据子集的下标文件、特征提取器版本和选择参数记录下来。这样当实验结果出现变化时可以快速定位到底是数据变化还是模型变化导致。8.4 安全与合规提醒如果数据来自真实业务系统尤其是涉及个人信息或敏感业务数据需要先完成脱敏和授权再进入训练流程。小数据集复用的原则是“尽量保留高价值样本”但不意味着可以无限制地使用隐私信息。核心集选择之前建议先经过合法的数据治理流程确保数据来源和用途都在授权范围内。9. 总结与后续研究方向“更少更快更强”这句话本质上是对深度学习数据使用方式的一次重新思考。在数据量和算力不再是唯一壁垒的今天如何组织样本、如何安排学习顺序、如何复用有限的数据变得越来越重要。本文从核心集选择、课程学习、数据重放和难例挖掘四个角度展开了一条可以在实际项目中落地的技术路径。代码示例只使用了常见的基础库关键在于理解每一步背后的动机减少数据不是为了舍弃信息而是为了聚焦信息加速训练不是为了偷工减料而是为了在同样的时间内做更多有效的更新。如果你对这方面有兴趣下一步可以深入三个方向第一阅读核心集选择与课程学习的最新论文了解更复杂的评分函数第二尝试数据蒸馏相关的开源项目感受合成数据带来的性能边界第三在自己的数据集上复现本文的流程固定随机种子做严格的消融实验。用数据说话比什么都更有说服力。