做 OT/ICS 安全研究的人大概率都经历过这样一种尴尬想训练一个异常检测模型却发现手里根本没有像样的数据。公开数据集数量少、字段解释模糊、标签不一致更麻烦的是很多数据你根本不知道它从哪里来、采集环境是什么、传感器怎么部署的。在这种数据上做出来的模型即使实验指标很漂亮拿到真实生产环境也几乎不可用。所以当“有来源保证provenanced的 OT/ICS 安全训练数据集”出现公开样例时我第一反应是这件事比单纯放出几百兆 CSV 要有价值得多。尤其是它只提供 5% 的公开样例这个比例背后其实有明确的设计意图——不是让你直接拿来训练生产模型而是让你在投入正式研究之前先把数据格式、标签语义、时间粒度、传感器覆盖范围这些最关键的问题弄清楚。这篇文章会围绕这个 5% 公开样例展开讲清楚它解决什么问题、来源保证为什么重要、怎么获取并验证样例、如何用最小流程跑通一个异常检测基线以及在真实研究里最容易踩的坑。如果你正准备做 ICS 入侵检测、OT 流量分析或者想搭建一个可复现的安全实验环境这篇文章值得收藏。1. 这篇文章真正要解决的问题先说结论OT/ICS 安全训练数据集的稀缺是工业安全智能化的最大瓶颈之一。不是算法不够好而是没有足够可信的数据来验证算法。为什么网络上常规的入侵检测数据集不适合 OT 场景因为 OT 数据的特征和 IT 数据差异太大。IT 网络里关注的是 IP、端口、DNS 请求、登录行为OT 环境里更关键的是 Modbus 写操作、PLC 状态变更、传感器数值曲线、阀门开关时序。一个针对企业办公网的检测模型放到 SCADA 环境里几乎等于盲人摸象。公开样例要解决的问题可以拆成三层降低验证门槛。申请完整数据集可能需要签协议、走流程、等待审批。5% 的公开样例让人在申请之前就能验证数据是否适合自己的研究主题避免把时间花在格式不匹配的数据上。提前暴露数据问题。OT 数据最常见的问题是时间戳乱跳、传感器单位不统一、攻击注入点标注不清晰。样本量小反而更容易人工核查这些问题。建立可复现的研究基线。有了固定版本、固定格式、固定说明的公开样例不同实验室跑出来的结果才有可能对比。这篇文章适合以下几类读者准备做 ICS 异常检测模型的研究生、需要评估 OT 数据集质量的算法工程师、负责工业安全平台 PoC 验证的安全架构师以及想了解 OT 数据长什么样的渗透测试人员。2. OT/ICS 安全训练数据集的基础概念在深入样例之前有必要把几个基础概念对齐。因为有相当多读者是从 Web 安全或机器学习方向转过来的OT 领域的术语体系和他们熟悉的东西完全不一样。2.1 OT 和 ICS 到底指什么OTOperational Technology操作技术是相对于 ITInformation Technology信息技术的一个概念。IT 关注数据的采集、传输、存储和处理OT 关注物理设备的监测和控制。二者最核心的差异在于IT 系统出了故障影响的是业务连续性OT 系统出了故障影响的可能是设备安全、生产安全甚至人员安全。ICSIndustrial Control Systems工业控制系统是 OT 的核心组成部分泛指用于监控和控制工业过程的软硬件系统。最常见的 ICS 组件包括组件全称作用SCADA数据采集与监控系统大范围远程监控常用于电网、管道、水务PLC可编程逻辑控制器现场控制核心执行逻辑控制HMI人机交互界面操作员查看和控制现场设备RTU远程终端单元远程采集和传输现场数据传感器/执行器Sensor / Actuator感知物理状态执行控制指令从网络角度看OT 网络的核心业务协议包括 Modbus、DNP3、EtherNet/IP、OPC UA、S7comm 等。这些协议在设计初期几乎不考虑安全所以 OT 安全数据集里最常见的攻击样本就是针对这些协议的注入、篡改、重放和拒绝服务。2.2 什么是“安全训练数据集”安全训练数据集是一组带标签的数据用于训练和评估安全模型。对于 OT/ICS 场景它通常包含两类标签正常状态数据设备正常运行时的网络流量、传感器读数、PLC 状态记录。攻击状态数据攻击者在特定时间窗口注入的异常行为数据通常带攻击类型和攻击时间戳。一个合格的安全训练数据集应该具备以下属性数据来源真实而不是纯仿真合成攻击注入过程有记录知道什么时候、用什么方式、影响哪些设备时间同步可靠不同数据源之间能对齐标签可验证能够回溯到日志或流量报文2.3 什么是 Provenance来源保证Provenance 这个词在数据科学里指数据的来源、历史和处理链路。一个有 provenance 的数据集意味着每条记录的来源、采集设备、处理步骤、版本变更都是可追溯的。对于 OT/ICS 安全训练数据集来源保证尤其重要。因为你训练一个检测模型最终要部署到真实的工业环境。如果训练数据的来源都说不清楚模型检测到的是真实攻击特征还是采集噪声没人能回答。来源保证的具体体现包括数据采集环境的描述半实物仿真平台、真实工厂、测试床每个传感器/控制器的编号和物理位置映射攻击注入日志与数据记录的时间对齐方式数据预处理步骤的可重复性数据版本历史这部分是公开样例最值得关注的地方它不一定有多大但能让你在下载后快速回答三个问题——这些数据是不是真的这些标签能不能信这个格式我能不能直接用。3. 为什么“5% 公开样例”这个设计值得关注很多人看到“5% 公开样例”会下意识觉得才 5%有什么用如果抱着这种想法可能会错过这个设计真正要解决的几个问题。3.1 保护生产环境与设备信息OT 数据比 IT 数据更加敏感。网络流量中可能包含设备 IP、PLC 型号、寄存器地址、工艺参数甚至能反推出某个工厂的生产流程、设备布局和弱点。完整数据如果直接公开等于把工业生产基础设施的一部分底牌亮了出来。只开放 5% 的样例可以控制风险暴露面同时仍然让研究者了解数据的基本结构和质量。3.2 降低申请和使用门槛假设完整数据集是 100GB研究者直接下载后发现问题再调整成本很高。5% 的公开样例可能只有几 GB 甚至几百 MB下载快、格式清晰、适合先跑通流程。申请完整数据时你已经有初步结果和经验和数据集提供方的沟通效率也会高很多。3.3 建立“先审计后训练”的工作流传统机器学习的做法是拿到数据直接训练效果不好再回头查数据。OT 安全数据因为噪声大、攻击样本少、标签复杂直接训练往往会得到虚高的指标。5% 公开样例的存在本质上是在引导一种更好的工作流先审计样例确认数据格式和时间分辨率再联系提供方获取完整数据最后在有监督或半监督框架下训练模型。这套流程对任何 OT 安全研究项目都有参考价值。3.4 样例与完整集的一致性问题必须提醒一点公开样例应该是从完整数据集中按时间或按场景随机采样的子集而不是单独构造的演示数据。否则样例上的研究结论迁移到完整数据集时会失效。获取到公开样例后第一件事不是训练模型而是验证样例是否具备完整数据集的代表性。包括正常/攻击样本比例是否合理、是否覆盖多种攻击类型、时间跨度是否连续、传感器字段是否完整。4. OT/ICS 安全数据集的典型数据形态与字段设计虽然不同数据集的具体字段名不同但公开的 OT/ICS 安全数据集通常有比较稳定的数据形态。理解这一点你拿到 5% 样例后就能快速上手。4.1 常见数据形态数据形态文件类型示例主要内容网络流量 PCAPpcap, pcapng原始报文可使用 Zeek、Suricata 解析网络日志json, csv, log流记录、协议解析结果传感器时序csv, parquet压力、温度、流量、液位等物理量控制状态csv泵、阀门、电机开关状态和控制模式攻击标签csv, json攻击起止时间、攻击类型、受影响设备5% 公开样例通常不会包含完整 PCAP因为 PCAP 占空间大且敏感信息多。更常见的是经过解析的流量特征和传感器时序数据。4.2 字段设计的一般规律以传感器时序数据为例典型字段包括timestamp采集时间戳精度一般到秒或毫秒sensor_id/tag_name传感器标识如P1_AI表示 1 号泵的模拟输入value当前读数值state设备状态如阀门开/关mode控制模式自动/手动/远程网络流量特征数据则通常包含ts流量发生时间src_ip/dst_ip源和目的地址proto协议类型function_codeModbus 等功能码register_addr寄存器地址attack_label是否为攻击拿到样例后先不看数据量而是看这些字段是否完整。字段遗漏会导致后续特征工程无法执行。4.3 元数据文件有来源保证的数据集通常附带一个元数据文件可能是 JSON 或 Markdown 格式至少包含数据集名称和版本采集平台描述和网络拓扑传感器数量与类型攻击注入说明数据格式说明已知限制如果 5% 公开样例里没有元数据文件或者元数据字段含糊那这个数据集的 provenance 质量就要打个折扣。5. 获取公开样例与校验来源的完整流程由于本文不针对某个特定数据集提供下载直链以下流程以通用方式演示如何获取并校验一个带来源保证的数据集样例。无论数据集发布方是谁这套流程都适用。5.1 阅读数据说明页正式下载前先阅读数据集的说明页重点关注许可证类型是否可以商用是否可以二次发布数据版本历史是否为最新版本文件列表和大小校验和SHA-256或签名信息不要跳过这一步。在真实项目中数据许可证问题可能在论文审稿或公司合规阶段被突然翻出来提前确认能避免后续被动。5.2 下载并校验文件完整性以 Linux 环境为例下载样例压缩包并校验哈希。# 下载样例包替换为数据发布方提供的实际地址 wget 发布方提供的下载地址 # 查看发布页提供的 SHA-256 校验值 echo 发布页提供的SHA256值 otics-sample.zip | sha256sum -c - # 解压 unzip otics-sample.zip -d sample/ # 查看目录结构 ls -la sample/如果校验失败优先检查网络传输协议是否被中途篡改或重新下载。不要直接解压使用哈希校验是验证数据来源完整性的最低成本手段。5.3 查看元数据文件解压后先找README.md、metadata.json或data_dictionary.csv这类文件。find sample/ -maxdepth 2 -type f | sort cat sample/README.md元数据文件应该回答这个数据集在哪里采集的、哪些设备参与、攻击类型有哪些、每个字段的含义是什么。如果这些信息缺失建议先联系发布方确认而不是自行猜测。5.4 快速检查数据文件# 查看 CSV 文件的行数和列名 head -n 5 sample/normal.csv head -n 5 sample/attack.csv # 统计记录行数 wc -l sample/normal.csv sample/attack.csv # 查看文件大小和磁盘占用 du -sh sample/如果确认数据文件能正常打开、字段和元数据文件描述一致、抽样数据不出现乱码和异常缺失说明本轮验证通过可以进入模型验证阶段。6. 使用 Python 跑通一个最小验证基线拿到公开样例后很多人会迫不及待开始训练深度学习模型。但在完整跑深度学习之前强烈建议先用一个轻量模型验证数据质量。下面用一个随机森林分类器做最小验证目标是确认特征和标签之间确实存在可学习的模式。6.1 加载数据以 CSV 格式的传感器数据为例# 文件路径load_data.py import pandas as pd # 读取正常数据和攻击数据 normal_df pd.read_csv(sample/normal.csv) attack_df pd.read_csv(sample/attack.csv) # 统一列名保证两个文件字段一致 print(normal columns:, normal_df.columns.tolist()) print(attack columns:, attack_df.columns.tolist()) print(normal rows:, len(normal_df)) print(attack rows:, len(attack_df))如果两个文件的列名不一致不要强行合并先确认是否需要对字段进行统一映射。6.2 构造标签与特征这里做一个简化假设数据中存在timestamp、value、state字段并且攻击数据文件中的记录都属于攻击类。实际使用时请根据发布方的标签设计调整。# 文件路径build_features.py import pandas as pd normal_df pd.read_csv(sample/normal.csv) attack_df pd.read_csv(sample/attack.csv) # 打标签 normal_df[label] 0 attack_df[label] 1 # 合并 df pd.concat([normal_df, attack_df], ignore_indexTrue) # 时间戳处理 df[timestamp] pd.to_datetime(df[timestamp]) df df.sort_values(timestamp).reset_index(dropTrue) # 对控制状态做标签编码 if state in df.columns: df[state_code] df[state].astype(category).cat.codes # 选择特征列 feature_cols [c for c in df.columns if c not in (timestamp, label, state)] # 填充缺失值工业数据中常见前向填充 df[feature_cols] df[feature_cols].fillna(methodffill).fillna(0) print(df[feature_cols].describe())这里的逻辑是先用ffill处理传感器短时抖动导致的缺失再用 0 填充序列开头的空值。在真实项目中缺失值处理策略要写在实验记录里这对复现很重要。6.3 训练基线模型并评估# 文件路径train_baseline.py from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report, confusion_matrix import pandas as pd normal_df pd.read_csv(sample/normal.csv) attack_df pd.read_csv(sample/attack.csv) normal_df[label] 0 attack_df[label] 1 df pd.concat([normal_df, attack_df], ignore_indexTrue) if timestamp in df.columns: df[timestamp] pd.to_datetime(df[timestamp]) if state in df.columns: df[state_code] df[state].astype(category).cat.codes feature_cols [c for c in df.columns if c not in (timestamp, label, state)] df[feature_cols] df[feature_cols].fillna(methodffill).fillna(0) X_train, X_test, y_train, y_test train_test_split( df[feature_cols], df[label], test_size0.3, random_state42, stratifydf[label] ) model RandomForestClassifier( n_estimators200, max_depth10, n_jobs-1, random_state42 ) model.fit(X_train, y_train) y_pred model.predict(X_test) print(classification_report(y_test, y_pred, target_names[normal, attack])) print(confusion_matrix(y_test, y_pred))运行后如果分类报告里准确率明显随机比如正常类 90% 以上、攻击类召回率很低不一定是数据有问题可能是 5% 样例中攻击模式过于稀少也可能是特征没有包含时序上下文。这时候不要急着调参应该回到数据本身去检查。6.4 增加时序聚合特征OT 数据是强时序数据单条记录之间的先后关系往往比单点读数更重要。一个简单的做法是增加时间窗口聚合特征# 文件路径add_window_features.py import pandas as pd df pd.read_csv(sample/sample_merged.csv) df[timestamp] pd.to_datetime(df[timestamp]) df df.sort_values(timestamp).set_index(timestamp) # 按 1 分钟窗口聚合数值列 numeric_cols df.select_dtypes(includenumber).columns # 计算滚动均值和标准差 window 10 for col in numeric_cols: if col ! label: df[f{col}_roll_mean] df[col].rolling(windowwindow).mean().fillna(df[col]) df[f{col}_roll_std] df[col].rolling(windowwindow).std().fillna(0) # 注意聚合后要重新划分训练集和测试集避免时间泄露 print(df.head())聚合特征能明显改善异常检测效果但要注意用shift()防止未来数据泄露。如果模型在窗口特征上提升极大也要警惕是否因为训练和测试窗口重叠导致指标虚高。7. 运行结果与效果验证7.1 预期输出如果数据和代码正确运行train_baseline.py后会看到类似下面的输出precision recall f1-score support normal 0.97 0.99 0.98 1523 attack 0.82 0.64 0.72 187 accuracy 0.95 1710 macro avg 0.89 0.81 0.85 1710 weighted avg 0.94 0.95 0.94 1710注意这里展示的是指标表现形态不代表某个特定数据集的结果。如果你的输出中攻击类 precision/recall 都是 0先不要怀疑模型按下面顺序排查打印y_train.value_counts()确认训练集里存在两类样本。打印X_train.head()确认特征值不是全 0。增大随机森林的class_weight参数如class_weightbalanced。如果数据文件本身就极不平衡考虑换采样方法。7.2 如何判断验证成功判断公开样例是否适合进一步使用不能只看模型指标。更重要的评估标准是数据字段与元数据文件描述一致时间戳连续且无大规模漂移攻击样本和正常样本在特征分布上有明显差异可通过可视化或特征重要性观察模型在正常类和攻击类上都有基本区分能力如果这四条全部满足说明样例质量可靠可以走正式的数据使用申请流程。如果任何一条不满足先和发布方核对不要带着问题继续往下走。7.3 失败时的排查起点查看原始日志中的时间戳范围df[timestamp].min()和df[timestamp].max()检查每个特征列缺失比例df.isnull().mean()可视化前几个传感器的时间序列曲线观察是否存在尖峰或长时间平台查看数据提供方是否设置了隐藏的“挑战赛式”延迟标签8. 常见问题与排查方法下面整理的是使用 OT/ICS 安全训练数据集时最高频的问题同样适用于公开样例。问题现象可能原因排查方式解决方案下载文件校验失败网络传输中断或代理引起文件截断重新下载并计算 SHA-256使用断点续传工具确认发布页哈希更新CSV 列名与文档不一致数据版本不同或发布方更新文档滞后对比文档版本号和 CSV 表头以数据文件为准并在实验记录中标注攻击样本数量极少真实环境中攻击占比天然很小查看标签分布和攻击类型字段使用异常检测框架不要直接套用有监督分类时间戳存在大量重复采集端数据聚合窗口过大检查元数据中采集频率使用均值聚合或增量特征避免重复时间戳模型对攻击类完全不识别特征未包含协议层或状态层信息检查是否只用了数值传感器增加 PLC 状态、控制模式等离散特征训练和测试结果差异大时间窗口泄露或数据分布漂移检查特征是否用了未来信息用GroupShuffleSplit按时间段划分申请完整数据被拒绝用途说明不清晰或缺乏数据安全承诺补充研究摘要和安全使用计划先基于公开样例产出初步结果再申请完整数据9. 最佳实践与工程建议在 OT/ICS 安全数据集上做研究和落地有几条原则值得写进团队的实验规范。9.1 把数据版本当作依赖管理的一部分OT 数据集更新频繁同一个数据集的不同版本之间字段解析方式和攻击标签可能完全不同。建议在项目中维护一份data_registry.yaml记录每个数据集的版本、哈希、申请日期和解压路径。# 文件路径data_registry.yaml datasets: - name: ot_ics_sample version: 1.0 sha256: a1b2c3... source: 官方发布页 license: research-only acquired_date: 2025-01-15 notes: 5% 公开样例字段与 v2 完整集一致这样做的好处是任何一次实验结果都能倒推所用的数据来源这在论文复现和审计时是硬需求。9.2 特征工程要贴近物理语义不要在 OT 数据上盲目堆特征。一个传感器数值的均值高不代表异常可能只是设备正常启动。更可靠的做法是结合物理过程理解特征含义阀门状态变化是否符合工艺顺序、压力波动的斜率是否在安全范围、Modbus 寄存器写入频率是否正常。9.3 严格防止时间泄露OT 时序数据最严重的建模错误是时间泄露。使用train_test_split默认的随机划分会让模型“看到”未来信息。更稳妥的做法是按时间顺序划分训练集和测试集例如前 70% 时间用于训练后 30% 用于测试。from sklearn.model_selection import TimeSeriesSplit tscv TimeSeriesSplit(n_splits5) for train_idx, val_idx in tscv.split(df): train_fold df.iloc[train_idx] val_fold df.iloc[val_idx]9.4 关注合法合规边界OT 安全数据集往往包含敏感信息使用前必须确认许可证条款。不要将原始数据直接提交到公共 AI 平台做分析不要在 GitHub 仓库上传未脱敏的 PCAP 文件。如果是公司内部使用要和法务、安全团队确认数据流转机制。9.5 从公开样例开始逐步推进最佳实践路径是先下载 5% 公开样例跑通数据解析和基线模型产出初步结果后再联系发布方申请完整数据集拿到完整数据后用同样的解析脚本和评估代码复现公开样例上的结论。这样既能证明方法的有效性也能获得更好的合作体验。10. 总结与后续学习方向5% 公开样例的价值不在于数据量而在于它提供了一个低成本验证数据质量和研究方向的入口。拿到样例后先检查元数据、字段结构、标签分布再跑一个简单的基线模型最后才是申请完整数据做深度实验。这个流程顺序不要搞反。接下来如果想继续深入可以从三个方向入手一是把公开样例接入 Zeek 和 Suricata 做流量特征解析构建更完整的网络层检测特征二是尝试用自编码器或时序异常检测算法处理无标签的传感器数据这更贴近真实 OT 场景三是关注数据集的版本更新跟踪发布方对攻击类型和采集平台的补充说明。建议把这篇文章收藏备用。下次看到任何 OT/ICS 安全数据集先按文中流程走一遍能帮你省下不少填坑时间。