1. 从赛题到实战电商需求预测与库存优化的核心逻辑去年带学生打MathorCupB题“电商零售商家需求预测及库存优化”是很多队伍又爱又恨的题目。爱的是它太“接地气”了任何一个做过电商数据分析或者供应链相关项目的同学都能立刻联想到现实中的场景恨的是题目给出的数据往往“骨感”而要求构建的模型又需要“丰满”从有限的数据里挖出规律再做出能指导实际补货的决策中间每一步都容易踩坑。很多人拿到题目第一反应就是去找“完整代码”和“建模过程全解”希望能直接套用。这种心情我完全理解但作为一个带了多年数模、也做过不少真实电商数据项目的过来人我想说比代码和论文模板更重要的是理解这个赛题背后一整套的商业逻辑和技术链路。代码是“术”而理解为什么用这个模型、为什么这样处理数据、为什么这样设置目标函数才是“道”。这篇内容我就结合自己实战和指导的经验把这道题从数据到决策的完整链条拆解开不仅告诉你“怎么做”更重点讲清楚“为什么这么做”以及那些论文里不会写的“坑”在哪里。这道题本质上是一个经典的“数据驱动的供应链管理”问题。它通常会给出一家或多家电商店铺过去一段时间比如一年的销售数据可能包括每日/每周的销量、对应的商品信息、促销活动标记、节假日标记等。然后要求你完成两件核心任务第一建立需求预测模型对未来一段时间如下一个月或一个季度的销量进行预测第二基于预测结果和给定的成本参数如库存持有成本、缺货损失、采购成本等建立库存优化模型制定最优的补货策略比如什么时间补、补多少。最终的评价指标往往是总成本最小化或利润最大化。这听起来很标准但难点在于数据的不完整性、噪声以及预测与决策的耦合——一个糟糕的预测无论后面的优化模型多精妙结果都是灾难性的。2. 数据预处理不只是清洗更是业务理解的起点拿到赛题数据很多队伍会迫不及待地开始跑模型这是大忌。电商销售数据里埋着太多“雷”不先排掉模型跑得再欢也是白搭。预处理不是机械的“去空值、去重复”而是你第一次与业务对话的机会。2.1 识别与处理“非正常”销售点电商数据里最大的噪声来源是促销和节假日。一次“双十一”的销量可能是平日的百倍如果不加处理直接扔进时间序列模型模型会被这些极端值带偏认为下个月也会爆发导致预测严重失真。第一步是标注特殊日期。你需要根据数据中的“活动标记”列如果有或自行根据日期标记出所有大促618、双11、双12、年货节、平台活动聚划算、百亿补贴以及国家法定节假日。这里有个细节促销的影响周期不止当天。通常有预热期销量可能被抑制、爆发期和余热期。我常用的做法是为每个大促创建一个为期7-10天的“促销窗口”并为窗口内的每一天赋予一个衰减权重而不是简单地把那几天数据删除或视为异常值。例如双十一当天权重为1前后三天权重分别为0.3、0.6、0.8、0.8、0.6、0.3将这个权重序列作为一个特征加入模型告诉模型“这些天的销量高是有特殊原因的”。第二步是处理真正的异常值。除了促销还可能因为数据录入错误、刷单、系统故障等产生异常值。对于这些我一般采用“统计识别业务复核”的方法。先计算每个SKU库存量单位即单个商品日销量的Z-score标准分数或使用IQR四分位距法找出那些偏离常态比如Z-score绝对值大于3的数据点。但不要武断地删除或用均值填充。要结合上下文看这个SKU平时每天卖10件突然有一天卖了1000件但那天没有促销记录这很可能就是异常。处理方式可以选择用前后几天的均值或中位数替换或者如果该SKU数据量足够直接将其视为缺失值用时间序列插值法补全。2.2 构建有效的特征工程体系特征决定了模型性能的上限。对于需求预测仅仅有时间序列是远远不够的。你需要从原始数据中“制造”出对预测有帮助的信息。1. 时间特征这是基础中的基础。必须从日期中提取出年份、月份、日、周几、一年中的第几周、第几天、是否是月初/月末、是否是季度末。更重要的是要构造“距离最近一次大促的天数”、“距离法定节假日的天数”这类特征。例如“距离双十一还有N天”这个特征能很好地捕捉消费者的等待购买心理。2. 滞后特征与窗口统计特征这是时间序列预测的核心。对于目标变量销量你需要创建其滞后值lag features如前1天、前7天上周同一天、前30天的销量作为模型输入。同时计算滚动统计量如过去7天的平均销量、标准差、最大值、最小值过去30天的移动平均线等。这些特征能帮助模型捕捉短期波动和长期趋势。这里有个技巧对于周期性强的商品如周一到周五销量低周末高滞后7天特征比滞后1天特征往往更重要。3. 商品层级特征如果数据包含多个商品那么商品本身的属性就是宝贵的特征。例如商品类别、价格、是否新品、历史生命周期阶段引入期、成长期、成熟期、衰退期。可以计算同类商品的整体销量趋势作为该商品的“类目热度”参考。还可以计算该商品销量占其所属类目总销量的比例市场份额特征。4. 外部特征如果允许且能获取虽然赛题数据通常封闭但若能合理引入外部数据会极大提升效果。例如天气数据气温、降水量影响服装、饮品销量、宏观经济指数、甚至社交媒体热度指数。在无法获取真实外部数据时可以在论文中将其作为模型优化方向进行讨论体现思考的全面性。注意特征不是越多越好。高维特征容易导致过拟合特别是对于数据量不大的赛题。一定要进行特征重要性分析如使用树模型的特征重要性评分或相关性分析剔除冗余特征。在实践中我通常会先构建一个“特征池”然后用递归特征消除RFE或基于模型的重要性筛选来保留Top-N的特征。3. 预测模型选型没有银弹只有场景适配这是最核心的部分也是队伍之间拉开差距的地方。很多人一上来就想用LSTM、Transformer这些深度学习模型觉得越高大上分数越高。这是一个严重的误区。模型复杂度必须与数据规模、业务特性相匹配。3.1 经典时间序列模型的适用场景对于数据量较小比如只有一两年日维度数据、序列相对平稳的SKU经典模型往往更稳健、更可解释。ARIMA/SARIMA模型这是处理线性时间序列的标杆。ARIMA能捕捉自回归AR、差分I和移动平均MA关系。如果你的销量序列有明显的季节性比如每周重复就应该使用SARIMA季节性ARIMA。它的优势是理论扎实参数有明确的统计意义。但缺点也很明显它假设序列是线性的且需要序列是平稳的通常通过差分实现。对于受促销影响巨大、波动剧烈的电商数据直接应用效果通常不好。我的建议是对于没有明显活动影响的“长尾商品”或经过平滑处理后的品类总量预测可以尝试SARIMA作为基线模型。指数平滑族模型ETS, Holt-Winters这类模型特别适合具有趋势和季节性的序列而且对近期数据赋予更高权重反应更灵敏。Holt-Winters的三次指数平滑分别处理水平、趋势和季节性在电商预测中很有用尤其是对于那些季节性规律非常明显的商品比如空调夏季旺、羽绒服冬季旺。它的实现简单计算速度快。在Python中statsmodels库提供了很好的实现。你可以用它来快速得到一个不错的基线预测并以此为基础分析残差看看还有哪些信息未被模型捕捉。3.2 机器学习与集成模型的实战应用当数据特征变得丰富我们上一节构建的那些经典时间序列模型就力不从心了因为它们难以融入除了时间以外的其他特征。这时机器学习模型就该登场了。树模型XGBoost/LightGBM/CatBoost这几乎是目前数学建模竞赛中处理结构化表格数据预测问题的“首选神器”。它们能天然地处理数值和类别特征对缺失值不敏感能捕捉复杂的非线性关系并且通过特征重要性输出让你知道哪些因素比如“是否周末”、“滞后7天销量”对预测影响最大。在电商需求预测中我将每个样本如“商品A在2023年5月1日”的所有特征时间特征、滞后特征、商品特征等整理成一行将“销量”作为目标变量问题就转化为了一个监督学习回归问题。使用LightGBM这类梯度提升树效果通常远超传统方法。使用树模型的关键点数据泄漏这是最容易犯的错误你不能使用“未来”的信息来预测“过去”。例如在预测5月1日的销量时绝对不能使用5月2日的销量或5月1日当天的全局统计量如全品类平均销量作为特征。所有特征都必须是“在预测点已知”的。滞后特征用历史销量是安全的但滚动统计量如过去7天平均的计算窗口必须严格在预测点之前结束。验证策略不能用简单的随机划分训练集和测试集必须使用时间序列交叉验证Time Series Split。例如用前10个月的数据训练预测第11个月然后用前11个月的数据训练预测第12个月以此类推。这模拟了真实的滚动预测场景评估结果更可靠。多步预测赛题往往要求预测未来多天如未来30天。有两种策略一是直接训练一个多输出模型预测一个30维的向量但这对数据量和模型能力要求高。更稳健的是采用滚动预测Rolling Forecast用模型预测出第T1天然后将这个预测值作为已知数据加入滞后特征再去预测第T2天如此循环。虽然这会累积误差但对于树模型这通常是更可行的方案。3.3 深度学习模型的尝试与权衡LSTM、GRU等循环神经网络以及最新的Transformer如Informer确实在复杂时间序列预测上表现出色但它们有严格的适用条件。什么情况下考虑深度学习模型数据量极大你有海量的、高频率的如每小时序列数据。序列依赖极其复杂长期依赖关系显著且非线性模式用树模型难以完全捕捉。有充足的计算资源和时间深度学习模型调参复杂训练耗时远大于树模型。对于大多数MathorCup赛题数据量在几千到几万条特征以构造的统计特征为主。在这种情况下经过精心调参的LightGBM模型其性能、训练速度和可解释性通常全面优于需要大量数据和时间来训练的深度学习模型。我见过很多队伍花了80%的时间折腾LSTM结果还不如用20%时间调好的XGBoost。在竞赛有限的时间内优先选择“高性价比”的模型是更明智的策略。你可以在论文中提及深度学习模型作为对比或未来展望但主力模型建议以树模型为主。4. 库存优化建模将预测转化为决策预测得再准如果不能转化成赚钱的补货方案也是零分。库存优化模型是连接预测与商业价值的桥梁。这部分考验的是将业务问题抽象为数学规划模型的能力。4.1 定义成本结构与决策变量首先必须彻底理解赛题中给出的成本参数。通常包括单位采购成本c每进一件货的成本。单位库存持有成本h每件商品在仓库中存放一天或一周所产生的成本通常与商品价值成正比。单位缺货损失成本p当顾客想买但没货时造成的损失包括直接利润损失和商誉损失。通常 p h。固定订货成本K下一次订单无论数量多少产生的固定费用如物流启动费、管理费。决策变量通常有两个订货量Q_t在第t个周期可能是每天或每周的期初决定订购多少商品。库存水平I_t在第t个周期期末的库存量。它们之间的关系由库存平衡方程连接I_t I_{t-1} Q_t - D_t其中D_t是第t个周期的实际需求量在我们的问题中用预测值F_t代替。4.2 建立目标函数与约束最经典的目标是最小化总期望成本在一个规划期如未来的T天内Minimize: Σ_{t1}^{T} [ K * δ(Q_t) c * Q_t h * E[max(I_t, 0)] p * E[max(-I_t, 0)] ]其中δ(Q_t)是一个指示函数如果Q_t 0则为1否则为0。用于计算固定订货成本。E[max(I_t, 0)]是期望期末库存持有成本部分。E[max(-I_t, 0)]是期望缺货量缺货成本部分。这里的难点在于需求D_t是一个随机变量我们只有其预测分布例如从预测模型中可以输出一个均值和方差或者通过分位数预测得到需求分布。因此目标函数中的期望值E[.]需要通过对需求分布的积分或求和来计算。约束条件通常包括非负约束Q_t 0,I_t可为负表示缺货。库存容量约束I_t MaxStorage如果有仓库容量限制。服务水平约束P(I_t 0) α即库存不耗尽的概率至少为α如95%这是一种软性的缺货控制。4.3 求解策略从简单启发式到动态规划对于这个随机动态库存问题精确求解如随机动态规划在周期长、状态空间大时计算量会爆炸。在数模竞赛中我们通常采用简化或启发式方法。1. (s, S) 策略及其变种这是实践中最常用的启发式策略。设定两个参数再订货点s和最大库存水平S。规则是在每个周期初检查库存水平I如果I s则发出订单订货量Q S - I否则不订货。这个策略直观且易于管理。赛题中的关键就变成了如何根据成本参数和需求预测分布计算出最优的(s, S)值。可以通过仿真模拟Simulation来搜索在合理的范围内枚举不同的(s, S)组合代入历史或模拟的需求数据计算其平均总成本选择成本最低的那一组。2. 报童模型Newsvendor Model的扩展报童模型适用于单周期问题。其核心结论是最优库存水平S*应使得需求不超过S*的概率等于临界比p/(ph)。对于多周期问题我们可以将其近似为一系列相互关联的单周期问题或者采用“基库存策略”Base Stock Policy每个周期都订货将库存提升到一个固定的目标水平S。这个S可以通过报童公式的变体来计算考虑提前期和需求分布。3. 仿真优化Simulation Optimization这是我最推荐在竞赛中采用的方法因为它灵活且说服力强。步骤如下第一步利用你建立的需求预测模型不仅输出点预测均值还要输出预测分布。例如使用分位数回归Quantile Regression预测出第5、50、95分位数从而模拟出未来需求的可能范围。第二步设定一个补货策略比如(s, S)策略并给定一组策略参数初值。第三步编写仿真程序。在程序中根据历史数据或预测分布随机生成成千上万条符合未来需求规律的序列蒙特卡洛模拟。第四步对每一条生成的需求序列按照你设定的补货策略进行“推演”计算在整个规划期内的总成本。第五步对所有模拟路径的成本取平均得到该组策略参数下的期望总成本。第六步使用优化算法如网格搜索、随机搜索、甚至遗传算法来调整策略参数寻找使期望总成本最小的那组参数。这种方法在论文中呈现出来会非常出彩它清晰地展示了“从随机需求到决策评估”的完整逻辑链体现了对问题不确定性的深刻理解。5. 模型评估与结果分析如何写出彩模型建好了结果算出来了但论文怎么写才能让评委眼前一亮绝不仅仅是罗列数字和公式。5.1 预测模型的评估多维度透视不要只用一个RMSE均方根误差就打发掉。电商需求预测的评估需要多角度整体精度RMSE, MAE平均绝对误差。RMSE对异常值更敏感MAE更稳健。同时汇报这两个。方向性精度计算预测误差实际-预测为正或负的比例。这能看出你的模型是系统性高估还是低估。分位数评估如果你做了分位数预测这对库存优化很重要要评估不同分位数如10% 50% 90%的预测可靠性。可以使用分位数损失函数Pinball Loss来评估。可视化是王道一定要画出未来预测期内的预测值与实际值如果有测试集的对比折线图。同时用阴影区域表示预测区间如80%置信区间这样能直观展示预测的不确定性。对于多个SKU可以选出几个有代表性的如畅销品、滞销品、新品分别展示。5.2 库存策略的效益分析优化后的库存策略效果如何需要用对比来体现。基准对比设定一个简单的基准策略比如“每周补货补到固定数量”或者“每天补货补货量等于前一天销量”。计算你的优化策略相比这些基准策略能降低多少总成本百分比。这是最有力的说服证据。敏感性分析这是体现你思考深度的关键部分。分析当成本参数发生变化时例如缺货成本p增加20%你的最优策略参数如s, S和总成本会如何变化。这说明了你的模型对商业环境的鲁棒性。“What-If”场景模拟在论文中设计一些情景。例如“如果下个月突然有一个未预料到的大促我们的库存策略会面临什么风险如何通过增加安全库存来应对” 然后展示在增加了某种风险缓冲后策略的调整和成本变化。这展示了模型的实用性和你的前瞻性思维。5.3 论文写作中的避坑指南切忌“黑箱”操作不要只写“我们使用了LightGBM模型得到了很好结果”。要解释你为什么选它你做了哪些关键调参比如learning_rate,max_depth,num_leaves特征重要性排序前五的是什么这反映了什么业务洞察。强调“不确定性”管理库存优化的核心就是管理需求的不确定性。在你的模型中你是如何量化这种不确定性的是通过预测区间还是概率分布又是如何在优化模型中考虑它的是通过期望成本还是服务水平约束把这个逻辑链条清晰地表述出来。模型假设要明确任何模型都有假设。明确写出你的假设例如“我们假设提前期为零”、“假设需求在不同周期之间独立”。然后讨论如果这些假设不成立会对结果产生什么影响以及模型可以如何扩展来放松这些假设。这展示了严谨性。代码与模型的可复现性在附录或提交材料中确保你的代码结构清晰有详细的注释。数据处理、特征工程、模型训练、优化仿真的步骤要模块化。评委可能会看代码混乱的代码会扣分。最后我想分享一点最深的体会数学建模竞赛尤其是像MathorCup大数据挑战赛这种贴近实际问题的比赛赢家往往不是用了最复杂模型的那一队而是最透彻地理解了业务逻辑并用最恰当的模型将这种理解清晰地表达出来的那一队。从数据中的每一个异常点到特征工程里的每一个业务思考再到优化模型里的每一个成本权衡这整个过程其实就是一名数据科学家解决真实世界问题的缩影。把这道题吃透收获的远不止一个奖项更是一套应对未来工作中类似挑战的完整方法论。