尧图网站建设 
简介面向糖尿病早期筛查与风险评估场景这份资源整合了天池大数据竞赛中的完整预测方案适合医疗健康领域的数据分析人员、机器学习初学者及竞赛选手参考。系统基于Keras框架构建神经网络模型并采用BoxCox变换优化数据分布从特征处理到模型训练均有对应实现配套的CSV数据文件覆盖训练集与测试集划分便于复现竞赛流程。包内共159个文件包含84个png可视化分析图表、34个py代码脚本、15个pdf文档及8个csv数据文件等压缩包整体约21.09MB目录结构清晰可快速定位代码、数据与说明文档。随附的数据处理说明、ipynb实验记录和PPT材料能帮助理解从原始数据到模型评估的完整链路。目前已有44人学习使用对需要快速上手糖尿病风险预测项目或借鉴竞赛思路的读者具有一定参考价值。1. 糖尿病遗传风险预测系统一场天池竞赛沉淀出的可复跑筛查工具糖尿病早筛这个场景有一个特点数据不是图像不是文本而是几十列体检指标、遗传史和生活习惯混在一起的结构化表格。天池大数据竞赛里相关的风险预测题目核心就是让参赛者用这些表格数据预测一个人未来患糖尿病的概率。题目不复杂但要把随机森林、逻辑回归之外的东西——比如 Keras 神经网络——真正用起来门槛全在特征预处理和训练稳定性上。这篇笔记围绕一个典型的糖尿病遗传风险预测系统来展开连续特征用 BoxCox 变换拉向正态分类特征做编码前馈神经网络预测风险概率再用数据可视化把结果拆成医生能看懂的风险分层。适合两类人一类是刚开始打表格类比赛、想把神经网络用起来的新手另一类是手头有企业内部健康数据、需要把预测概率转成可解释筛查报告的从业者。下面的做法不是唯一解却是最容易复现、踩坑最少的一套。2. 从BoxCox预处理开始天池表格数据的清洗顺序与参数细节2.1 先分清楚连续特征、分类特征、序列特征三种字段别一股脑丢给BoxCox天池这类糖尿病赛题拿到的原始表字段名可能是脱敏后的 F1、F2也可能是可读的年龄、BMI、糖化血红蛋白。无论哪种拿到数据的第一步不是建模而是把列按性质分成三类连续数值型、类别型、标识型。连续数值型包括年龄、BMI、血糖、糖化血红蛋白这类有实际量纲的特征类别型包括性别、家族病史、是否吸烟、高血压分级标识型包括样本编号、采集时间这类字段不能参与训练。这里最常见的翻车就是把所有列都丢进同一个预处理流程。类别型字段一旦被 BoxCox 变换0/1 编码会被彻底打乱模型再也学不到“有没有糖尿病家族史”这个强信号标识型字段进入模型则直接造成泄漏测试集上的分数会虚高到不敢相信。所以我在项目里的做法是维护两个列表continuous_cols 和 cat_cols分别走不同管道。连续特征做 BoxCox 和标准化分类特征做 OneHot 编码。字段示例类型推荐处理年龄、BMI、糖化血红蛋白连续数值BoxCox StandardScaler性别、家族病史、吸烟类别OneHotEncoder样本编号、采集时间标识剔除或转为时间差特征这个分类步骤会直接影响 Keras 模型的输入维度。分类特征如果不用 OneHot 而直接用 OrdinalEncoder虽然输入维度更小但引入了“吸烟2 比 不吸烟1 更大”的错误顺序关系前馈神经网络会把这种人为顺序当成真实的数值大小来学习效果往往更差。2.2 BoxCox为什么比log变换更保险一个λ覆盖整个幂变换家族BoxCox 是一族带参数的幂变换核心公式是对原始正值 y 做如下变换y(λ) (y^λ - 1) / λλ 不等于 0λ 0 时退化为 ln(y)。这里的 λ 不是手工指定的而是由数据通过极大似然估计自动选出。如果你觉得 log 变换好用那本质是数据的最佳 λ 恰好接近 0但医疗指标往往既有低端截断又带重尾比如血糖在正常区间集中、在异常区间拖出长尾最佳 λ 可能落在 -0.5 或 0.5 附近。BoxCox 的价值就是不用你一个个试 log、倒数、平方根它在一个统一的变换式子里把对数变换的整个近亲都覆盖了。在神经网络里做 BoxCox 的真正理由不是“为了符合正态性假设”而是为了让梯度下降在固定学习率下更平稳。偏态分布会让少数极端样本在反向传播时产生巨大梯度把整个权重更新拽偏。BoxCox 之后分布更对称配合后面的标准化Keras 模型的训练曲线通常会明显更顺滑验证集上的 AUC 也会更稳定。但 BoxCox 有一个硬性前提输入值必须严格大于 0。体重、血压、血糖检测值一般不会为负但有些字段可能正好是 0比如胰岛素为 0 的情况在体检数据里并不罕见。处理方式是在变换前做一个平移把最小值抬到 0 以上。2.3 最小复现BoxCox的拟合、变换与参数保存代码下面的代码是这套系统里最核心的预处理片段。注意一个顺序问题先切分训练集和测试集再在训练集上拟合 BoxCox 的参数不能用全量数据去 fit。否则测试集的信息会渗进训练过程这就是数据泄漏。import numpy as np import pandas as pd from sklearn.preprocessing import PowerTransformer # 连续特征统一走这个函数BoxCox 要求输入严格为正 def boxcox_fit_transform(series, name, pt_dict): arr series.to_numpy(dtypenp.float64) shift 0.0 if arr.min() 0: # 平移一个略大于最小绝对值的量保证所有值都为正 shift abs(arr.min()) 1e-6 arr arr shift pt PowerTransformer(methodbox-cox, standardizeFalse) transformed pt.fit_transform(arr.reshape(-1, 1)).flatten() pt_dict[name] {pt: pt, shift: shift} return transformed # 测试集/推理阶段用训练集拟合好的参数回放 def boxcox_transform_inference(series, name, pt_dict): arr series.to_numpy(dtypenp.float64) pt_dict[name][shift] return pt_dict[name][pt].transform(arr.reshape(-1, 1)).flatten() pt_dict {} for col in continuous_cols: train_df[col _bx] boxcox_fit_transform(train_df[col], col, pt_dict) for col in continuous_cols: test_df[col _bx] boxcox_transform_inference(test_df[col], col, pt_dict)这段代码的逻辑核心有两点。第一PowerTransformer 的 standardize 参数要设为 False让 BoxCox 只做偏度校正标准化留给后面的 StandardScaler如果这里不关掉BoxCox 的 λ 估计会受数据尺度的干扰。第二每个特征的 shift 和训练好的 pt 对象必须存起来因为测试集每次进入都要用同一个 λ 和同一个平移量回放否则训练和推理的特征分布就对不齐。这里有个很多人会忽略的参数PowerTransformer 默认会复制一份数据对稀疏矩阵和缺失值都处理不了。所以进入 BoxCox 之前要先做缺失值填充。我的习惯是用中位数填充连续特征。中位数对异常值不敏感在医疗数据里比均值可靠得多并且填充逻辑也要在训练集上计算。2.4 变换后必须检查用偏度与直方图判断是否值得用到底BoxCox 不是银弹有些特征变换完之后仍然偏得厉害。所以每变换一个特征我都会顺手打印偏度 skew 值并画一张变换前后的直方图对比。import matplotlib.pyplot as plt fig, axes plt.subplots(1, 2, figsize(12, 4)) train_df[col].hist(axaxes[0], bins50) train_df[col _bx].hist(axaxes[1], bins50) skew_before train_df[col].skew() skew_after train_df[col _bx].skew() print(f{col}: skew {skew_before:.3f} - {skew_after:.3f})偏度在 -0.5 到 0.5 之间通常认为是可接受的超过 1 就说明变换效果不到位。如果 BoxCox 后仍然偏我一般不会在预处理里死磕而是选择对特征做分位数截断把前后 1% 的极端值压到边界上。原因很简单神经网络本身能拟合非线性关系预处理的目标不是造出一个完美的正态分布而是让梯度的敏感度不超过模型能处理的范围。这两个小图同时也会成为最终数据可视化分析报告的一部分直观展示“原始数据有多偏、预处理后变整齐”这个过程。3. 用Keras搭建前馈神经网络预测模型结构设计与代码拆解3.1 这个风险筛查任务为什么用前馈神经网络而不是卷积神经网络搜索“卷积神经网络”看到的大多是图像分类、目标检测。图像有相邻像素的局部相关性卷积核用几行代码就能提取空间特征。但糖尿病风险预测的输入是几十列独立的表格特征字段之间没有空间位置关系强行用卷积只是在数据上滑过一个没有意义的窗口白白增加参数和过拟合风险。前馈神经网络Feedforward Neural Network在这个场景下才是真正对口的模型每一层的每个神经元都把上一层的全部输出做加权求和再通过激活函数引入非线性。糖尿病风险本身是多因素共同作用的结果家族史的权重、年龄的权重、BMI 的权重之间存在各种交互关系比如“有家族史且 BMI 超标”的风险远大于两个因素单独风险之和这种交叉效应正是全连接层擅长的。Keras 把前馈网络搭得非常直接几十行代码就能把模型从定义到训练走通。这里我不需要 CNN不需要 LSTM甚至不需要 Transformer。表格数据在样本量只有几千到几万时一个三层全连接网络加上 Dropout 和批量归一化往往就能在验证集上做到和 XGBoost 差不多的水平同时还能输出连续概率供风险分层使用。3.2 Keras模型代码两个隐含层Dropout和批量归一化的位置不能乱下面是我在这个项目里使用的模型结构。输入维度由特征数量决定两个隐藏层分别用 64 和 32 个神经元为了让模型在表格数据上充分表达特征组合又不过量。import tensorflow as tf from tensorflow import keras from tensorflow.keras import layers keras.utils.set_random_seed(42) model keras.Sequential([ layers.Input(shape(X_train.shape[1],)), layers.Dense(64, activationrelu, kernel_regularizerkeras.regularizers.l2(1e-4)), layers.BatchNormalization(), layers.Dropout(0.3), layers.Dense(32, activationrelu), layers.Dropout(0.2), layers.Dense(1, activationsigmoid) ]) model.compile( optimizerkeras.optimizers.Adam(learning_rate1e-3), lossbinary_crossentropy, metrics[accuracy, keras.metrics.AUC(nameauc)] ) model.summary()这个结构里有几个参数值得细说。kernel_regularizer 的 l2 系数设成 1e-4作用是对权重的平方和做惩罚防止某个单一特征在训练中拿到过大的权重这在特征数量多、样本量少的医疗数据里尤其重要。BatchNormalization 放在第一个 Dense 层之后、Dropout 之前顺序不能调换如果先 Dropout 再 BNBN 在训练和推理时行为不一致验证集表现会明显打折。Dropout 的 0.3 和 0.2 是给中间层做随机失活用的训练时每次迭代随机关闭一部分神经元迫使网络学习冗余特征减少对个别输入的依赖。损失函数用 binary_crossentropy因为这是二分类问题。优化器用 Adam 而不是 SGD原因在于 Adam 每个参数有自适应学习率表格数据特征尺度差异大Adam 对初始学习率的敏感度低很多跑起来不用频繁调参就能收敛。3.3 数据管道把BoxCox结果、标准化、OneHot拼成一条完整链路模型只是引擎前面必须接一个统一的预处理管道。这里我用 sklearn 的 ColumnTransformer 来拼装连续特征先经过 BoxCox 再标准化分类特征走 OneHot。这个组合逻辑上清楚坑在于列顺序。ColumnTransformer 的输出顺序是按照你在 transformers 列表里声明的顺序拼接的如果训练时调整了列名顺序模型看到的数据结构就跟训练时不一致预测概率会完全乱掉。from sklearn.preprocessing import OneHotEncoder, StandardScaler from sklearn.compose import ColumnTransformer preprocessor ColumnTransformer([ (cont, StandardScaler(), [c _bx for c in continuous_cols]), (cat, OneHotEncoder(handle_unknownignore), cat_cols) ]) X_train preprocessor.fit_transform(train_df) X_test preprocessor.transform(test_df)这段代码里有两个要点值得注意。OneHotEncoder 的 handle_unknown 参数设成 ignore是为了防止测试集里出现训练集没见过的类别值时报错医疗数据里这个问题很现实比如“吸烟状态”字段偶尔会出现训练集没有的缺失标记编码。另一个是 StandardScaler 和 BoxCox 可以连锁使用BoxCox 只负责校正偏度标准化负责把数据中心到均值 0、方差 1两个步骤各管一段都保留下来才能保证 Keras 训练时每个特征对梯度的影响是平等的。环境方面现在 Keras 已经作为 tf.keras 直接集成在 TensorFlow 里安装时直接装 TensorFlow 就够了。新手容易踩的坑是同时装了独立 keras 包和 tf.keras版本不同导致模型保存后再加载报一堆奇怪的属性错误。我的建议是环境里只保留一个来源训练和部署用同一份依赖清单避免不同的 Transform 位置引入额外维度差异。3.4 多核调度训练慢不一定是模型问题也可能是线程资源配置Keras 在 CPU 上训练表格数据时数据量不大层也不深但如果你开了全部内核跑一个迷你模型反而会因为线程间通信开销让每个 epoch 变慢。这里需要对 TensorFlow 的线程参数做显式配置import tensorflow as tf # intra-op单个算子内部的并行线程数建议设为物理 CPU 核数 # inter-op不同算子之间的并行线程数2~4 就够设太大会出现锁竞争 tf.config.threading.set_intra_op_parallelism_threads(8) tf.config.threading.set_inter_op_parallelism_threads(2)这两个配置属于通用神经网络处理器里很典型的多核调度问题线程不是越多越好而是要看计算图里单个算子大不大。表格数据的 Dense 层本质是矩阵乘法矩阵维度不大时单算子并行度太高收益很低反过来 inter-op 设太大多个小算子同时在不同线程上排队反而把 CPU 资源浪费在切换上。本地训练时我会把 intra-op 设成物理核数inter-op 设成 2虚拟机上再根据核数按比例收缩。4. 训练评估与可视化分析从模型输出到风险分层4.1 早停和学习率衰减先让训练跑稳再谈调参模型编译完成之后最忌一上来就 fit 几百个 epoch 然后挑一个看着最顺眼的轮次。正确的做法是把训练过程的监控和干预交给回调函数。早停负责在验证损失不再下降时停掉训练学习率衰减负责在损失平台期自动降低更新步长。from tensorflow.keras.callbacks import EarlyStopping, ReduceLROnPlateau es EarlyStopping(monitorval_loss, patience15, restore_best_weightsTrue) rlr ReduceLROnPlateau(monitorval_loss, factor0.5, patience5, min_lr1e-5) history model.fit( X_train, y_train, validation_split0.2, batch_size32, epochs200, callbacks[es, rlr], verbose1 )这里几个参数都是踩坑踩出来的。patience15 表示连续 15 个 epoch 验证损失没有改善就停止太小会错过后期微调的机会太大则浪费时间。restore_best_weightsTrue 一定要开否则训练结束后模型参数停留在最后一个 epoch而不是验证集上表现最好的那一个。ReduceLROnPlateau 的 factor0.5 表示学习率减半min_lr 设 1e-5 防止衰减到零。batch_size 对表格数据我用 32样本量上万可以提到 64但这个项目里小批量反而让梯度更平稳。4.2 评估指标与可视化准确率被严重高估AUC和召回率才是关键二分类问题最舒服的输出是 sigmoid 给出的 0 到 1 概率。但很多代码直接拿 0.5 当阈值然后把 ? 准确率当作衡量模型好坏的标准。在糖尿病风险数据里未患病样本通常占大头模型即使把所有样本都预测成 0准确率也能到 80% 以上看起来毫无意义却没有预警能力。所以我在评估时唯一关注的曲线是 ROC 和 PR尤其是召回率。from sklearn.metrics import roc_auc_score, confusion_matrix from sklearn.metrics import roc_curve, precision_recall_curve import matplotlib.pyplot as plt y_pred_prob model.predict(X_test, verbose0).ravel() auc roc_auc_score(y_test, y_pred_prob) print(fAUC {auc:.4f}) # 早筛场景阈值压低到 0.3宁可多一些疑似也别漏掉真实阳性 y_pred (y_pred_prob 0.3).astype(int) tn, fp, fn, tp confusion_matrix(y_test, y_pred).ravel() sensitivity tp / (tp fn) specificity tn / (tn fp) print(fSensitivity召回率 {sensitivity:.3f}, Specificity {specificity:.3f}) fpr, tpr, _ roc_curve(y_test, y_pred_prob) plt.plot(fpr, tpr, labelfAUC{auc:.3f}) plt.xlabel(False Positive Rate) plt.ylabel(True Positive Rate) plt.legend()AUC 衡量的是模型把正样本排在负样本前面的能力不受阈值影响是比赛榜和论文里最常见的指标。但在真实筛查场景里光看 AUC 不够还要看一个具体的操作点。预测阈值默认 0.5 对筛查太严格因为糖尿病早筛的意义是先把可疑人群圈出来后续再通过口服糖耐量测试确认。把阈值从 0.5 压到 0.3召回率会明显升高代价是特异性降低也就是多了一些假阳性。4.3 风险分层可视化把连续概率变成低中高三档决策参考模型输出的 probability 是一堆 0.372、0.614 这样的浮点数直接给医生看并不直观。更常见的落地做法是把概率切成三档映射成低风险、中风险、高风险再配合直方图把整个人群的风险分布画出来。import pandas as pd risk_level pd.cut( y_pred_prob, bins[0, 0.3, 0.7, 1.0], labels[低风险, 中风险, 高风险] ) result pd.DataFrame({ probability: y_pred_prob, risk_level: risk_level, label: y_test }) risk_counts result[risk_level].value_counts().sort_index()这个切分使用的 bins 跟前面的阈值是配套的概率低于 0.3 进入低风险0.3 到 0.7 是中风险超过 0.7 直接进高风险。两个边界可以按业务口径调整但必须和模型的召回率指标一起报告。数据可视化在这里不只是为了好看它其实是在回答一个决策问题如果拿这套系统去做筛查会有多少人被划到高风险组其中多少人最终确诊——这就构成了人群风险分布图的核心内容。5. 糖尿病风险预测系统常见问题排查BoxCox翻车、数据泄漏与阈值失误5.1 现象BoxCox 直接报 ValueError说数据包含非正值原因PowerTransformer 使用 methodbox-cox 时内部会检查输入是否严格大于 0。体检数据里的胰岛素、C 肽这类指标经常出现 0 值还有一些字段在原始 Excel 里是负数比如“血糖变化量”这种衍生特征。解决在 fit_transform 之前先对特征做平移平移量取最小值的绝对值加一个微小量比如 1e-6。平移量必须记录下来推理时对测试集用完全相同的平移量。如果这一列的非正值占比超过 5%我会直接用 methodyeo-johnson这个方法允许 0 和负数不需要平移代价是解释性略差。这两条路都是可行的选哪条取决于业务是否要求你报告“我用了 BoxCox”。5.2 现象训练集 AUC 0.92测试集掉到 0.60评估分数虚高原因这是典型的数据泄漏。最常见的泄漏不是模型问题而是预处理顺序错了——在切分训练集和测试集之前先用全量数据做缺失值填充、BoxCox 拟合或标准化。测试集的统计信息因此渗入训练过程模型相当于偷偷看到了测试集的长相训练时表现好得离谱一到真正未知数据就原形毕露。解决先把数据集用 train_test_split 切分再在训练集的子集上计算中位数、BoxCox 的 λ、StandardScaler 的均值和方差测试集只能调用 transform 回放。Scikit-learn 的 Pipeline 和 ColumnTransformer 会把这件事约束好所以我强烈建议不要手写scale (df - df.mean()) / df.std()这条代码如果放在切分之前再厉害的神经网络也无法挽救泄漏。5.3 现象训练 loss 不断下降验证 loss 先降后升呈现一个 V 字形原因这是过拟合的典型轨迹。前馈神经网络的容量足够记住训练集里所有样本尤其是特征维度高、样本量只有几千的时候。Dropout 开了但比例不够BatchNormalization 又让每层输出被归一化进一步掩盖了过拟合信号。解决先确认 EarlyStopping 的 restore_best_weightsTrue 已开启否则训练结束后保存的是最后一个 epoch 的参数正好落在验证 loss 的上升段。之后再看 Dropout 比例0.3 不够就提到 0.5同时把 l2 正则系数从 1e-4 调到 1e-3。还有一个检查技巧把训练好的模型在训练集上重新 predict 一次如果训练集 AUC 接近 1.0 而验证集只有 0.7模型容量太高减小第一个 Dense 层的神经元数量往往比无脑加大 Dropout 更有效。5.4 现象准确率 92%但高风险人群里有大量确诊患者被漏掉原因准确率这个指标在不平衡数据里会骗人。假设数据里只有 9% 是糖尿病阳性模型把所有样本都预测成阴性准确率就是 91%。但是一个用于早期筛查的工具漏掉一个真实阳性比多报一个假阳性严重得多因为被漏掉的人不会进入下一步的糖耐量检查风险被全部吞掉。解决评估指标改成召回率和 AUC 联合看模型训练时给正样本更高的权重。Keras 的 fit 支持 class_weight 参数手动指定“正样本:负样本 总样本数 / (类别数 × 本类样本数)”这种比例关系或者简单粗暴设为 5:1。同时把预测阈值从 0.5 降到 0.3 再测一遍召回率对比结果选择业务可接受的操作点。阈值的选择不能单看 AUC要把阈值概率对应的假阳性率报给业务方让医生决定漏诊和误诊哪个更不能接受。5.5 现象同一个模型在不同机器上跑出不一样的结果复现性差原因神经网络初始化、Dropout 随机失活、数据加载顺序都会引入随机性。Keras 在 CPU 上的某些算子也有非确定性浮点累加比如矩阵乘法在 Intel MKL 下的多线程求和顺序不同最终结果在小数点后可能有差异。版本问题更普遍keras 2.x 和 keras 3.x 的默认行为差异不小同样的 Sequential 结构训练出来的权重分布会有肉眼可见的偏差。解决在代码顶部显式调用keras.utils.set_random_seed(42)同时把 TensorFlow 的线程配置固定下来。训练完成后保存的是整个管道而不仅仅是 model.weights——用 joblib 把 pt_dict、shift、preprocessor 一起 dump 到磁盘推理时加载同一套对象而不是重新计算预处理参数。最后在项目根目录放一个 requirements.txt把所有相关库的版本锁住避免队友或服务器上装到不同版本。6. 交付前的自检用一位真实样本回放整个预测链路这套系统做到这里代码不光服务于天池比赛排行榜更是一个能落地的风险筛查辅助工具。比赛里你可能只需要提交一个概率文件但实际交付时用户要看到的是“输入一份体检数据 → 系统输出一个风险等级和依据”中间不能有黑匣子。所以我每次做完模型一定会做一次完整的端到端回放从原始表格里挑出三到五条阳性样本模拟新用户从头走一遍预处理管道确认每个 BoxCox 的 shift 和 λ 都按训练时的参数在起作用而不是看到一行概率却解释不了它从哪来。# 新样本回放一次完整的预测链路 new_sample sample_raw_df.copy() for col in continuous_cols: new_sample[col _bx] boxcox_transform_inference( new_sample[col], col, pt_dict ) feat preprocessor.transform(new_sample) prob model.predict(feat, verbose0).ravel()[0] risk 高风险 if prob 0.7 else (中风险 if prob 0.3 else 低风险) print(f风险概率: {prob:.2%}分层: {risk})这个流程是整篇文章的收口也是对上面所有参数设置的验证。如果某位阳性的真实样本在本系统里被划到低风险我不会急着调模型而是先回去检查它的预处理路径是不是某列在训练时偏移了是不是 OneHot 里出现了 unknown 维度被忽略是不是 BoxCox 输出在 StandardScaler 之后超出了训练分布的范围。每一处都可能让概率差出 20 个百分点。我的习惯是每次跑通新数据先把这套回放脚本存为项目里唯一可信的验证入口。模型训练可以反复重跑但回放脚本一旦写成就尽量不改因为它是所有实验之间可比的基准。数据可视化部分也一样哪个风险分层的阈值改了对应的直方图重新生成而不是等最后一起算。评估报告里贴的每张图都应该能追溯到一条实际命令和对应版本否则别人拿同样数据跑一遍结果不一样就很难判断是模型的问题还是预处理版本的问题。这整套做下来BoxCox 不再只是一个变换函数而是整个筛查工具里承上启下的那一环它让偏态特征变成神经网络能高效学习的分布又让最终的风险分层在统计上说得通。希望这个过程和踩过的这些坑能帮你在自己的糖尿病风险预测项目里少走一段弯路。本文还有配套的精品资源点击获取 基于BoxCox与Keras前馈神经网络的糖尿病风险预测系统实战
简介面向糖尿病早期筛查与风险评估场景这份资源整合了天池大数据竞赛中的完整预测方案适合医疗健康领域的数据分析人员、机器学习初学者及竞赛选手参考。系统基于Keras框架构建神经网络模型并采用BoxCox变换优化数据分布从特征处理到模型训练均有对应实现配套的CSV数据文件覆盖训练集与测试集划分便于复现竞赛流程。包内共159个文件包含84个png可视化分析图表、34个py代码脚本、15个pdf文档及8个csv数据文件等压缩包整体约21.09MB目录结构清晰可快速定位代码、数据与说明文档。随附的数据处理说明、ipynb实验记录和PPT材料能帮助理解从原始数据到模型评估的完整链路。目前已有44人学习使用对需要快速上手糖尿病风险预测项目或借鉴竞赛思路的读者具有一定参考价值。1. 糖尿病遗传风险预测系统一场天池竞赛沉淀出的可复跑筛查工具糖尿病早筛这个场景有一个特点数据不是图像不是文本而是几十列体检指标、遗传史和生活习惯混在一起的结构化表格。天池大数据竞赛里相关的风险预测题目核心就是让参赛者用这些表格数据预测一个人未来患糖尿病的概率。题目不复杂但要把随机森林、逻辑回归之外的东西——比如 Keras 神经网络——真正用起来门槛全在特征预处理和训练稳定性上。这篇笔记围绕一个典型的糖尿病遗传风险预测系统来展开连续特征用 BoxCox 变换拉向正态分类特征做编码前馈神经网络预测风险概率再用数据可视化把结果拆成医生能看懂的风险分层。适合两类人一类是刚开始打表格类比赛、想把神经网络用起来的新手另一类是手头有企业内部健康数据、需要把预测概率转成可解释筛查报告的从业者。下面的做法不是唯一解却是最容易复现、踩坑最少的一套。2. 从BoxCox预处理开始天池表格数据的清洗顺序与参数细节2.1 先分清楚连续特征、分类特征、序列特征三种字段别一股脑丢给BoxCox天池这类糖尿病赛题拿到的原始表字段名可能是脱敏后的 F1、F2也可能是可读的年龄、BMI、糖化血红蛋白。无论哪种拿到数据的第一步不是建模而是把列按性质分成三类连续数值型、类别型、标识型。连续数值型包括年龄、BMI、血糖、糖化血红蛋白这类有实际量纲的特征类别型包括性别、家族病史、是否吸烟、高血压分级标识型包括样本编号、采集时间这类字段不能参与训练。这里最常见的翻车就是把所有列都丢进同一个预处理流程。类别型字段一旦被 BoxCox 变换0/1 编码会被彻底打乱模型再也学不到“有没有糖尿病家族史”这个强信号标识型字段进入模型则直接造成泄漏测试集上的分数会虚高到不敢相信。所以我在项目里的做法是维护两个列表continuous_cols 和 cat_cols分别走不同管道。连续特征做 BoxCox 和标准化分类特征做 OneHot 编码。字段示例类型推荐处理年龄、BMI、糖化血红蛋白连续数值BoxCox StandardScaler性别、家族病史、吸烟类别OneHotEncoder样本编号、采集时间标识剔除或转为时间差特征这个分类步骤会直接影响 Keras 模型的输入维度。分类特征如果不用 OneHot 而直接用 OrdinalEncoder虽然输入维度更小但引入了“吸烟2 比 不吸烟1 更大”的错误顺序关系前馈神经网络会把这种人为顺序当成真实的数值大小来学习效果往往更差。2.2 BoxCox为什么比log变换更保险一个λ覆盖整个幂变换家族BoxCox 是一族带参数的幂变换核心公式是对原始正值 y 做如下变换y(λ) (y^λ - 1) / λλ 不等于 0λ 0 时退化为 ln(y)。这里的 λ 不是手工指定的而是由数据通过极大似然估计自动选出。如果你觉得 log 变换好用那本质是数据的最佳 λ 恰好接近 0但医疗指标往往既有低端截断又带重尾比如血糖在正常区间集中、在异常区间拖出长尾最佳 λ 可能落在 -0.5 或 0.5 附近。BoxCox 的价值就是不用你一个个试 log、倒数、平方根它在一个统一的变换式子里把对数变换的整个近亲都覆盖了。在神经网络里做 BoxCox 的真正理由不是“为了符合正态性假设”而是为了让梯度下降在固定学习率下更平稳。偏态分布会让少数极端样本在反向传播时产生巨大梯度把整个权重更新拽偏。BoxCox 之后分布更对称配合后面的标准化Keras 模型的训练曲线通常会明显更顺滑验证集上的 AUC 也会更稳定。但 BoxCox 有一个硬性前提输入值必须严格大于 0。体重、血压、血糖检测值一般不会为负但有些字段可能正好是 0比如胰岛素为 0 的情况在体检数据里并不罕见。处理方式是在变换前做一个平移把最小值抬到 0 以上。2.3 最小复现BoxCox的拟合、变换与参数保存代码下面的代码是这套系统里最核心的预处理片段。注意一个顺序问题先切分训练集和测试集再在训练集上拟合 BoxCox 的参数不能用全量数据去 fit。否则测试集的信息会渗进训练过程这就是数据泄漏。import numpy as np import pandas as pd from sklearn.preprocessing import PowerTransformer # 连续特征统一走这个函数BoxCox 要求输入严格为正 def boxcox_fit_transform(series, name, pt_dict): arr series.to_numpy(dtypenp.float64) shift 0.0 if arr.min() 0: # 平移一个略大于最小绝对值的量保证所有值都为正 shift abs(arr.min()) 1e-6 arr arr shift pt PowerTransformer(methodbox-cox, standardizeFalse) transformed pt.fit_transform(arr.reshape(-1, 1)).flatten() pt_dict[name] {pt: pt, shift: shift} return transformed # 测试集/推理阶段用训练集拟合好的参数回放 def boxcox_transform_inference(series, name, pt_dict): arr series.to_numpy(dtypenp.float64) pt_dict[name][shift] return pt_dict[name][pt].transform(arr.reshape(-1, 1)).flatten() pt_dict {} for col in continuous_cols: train_df[col _bx] boxcox_fit_transform(train_df[col], col, pt_dict) for col in continuous_cols: test_df[col _bx] boxcox_transform_inference(test_df[col], col, pt_dict)这段代码的逻辑核心有两点。第一PowerTransformer 的 standardize 参数要设为 False让 BoxCox 只做偏度校正标准化留给后面的 StandardScaler如果这里不关掉BoxCox 的 λ 估计会受数据尺度的干扰。第二每个特征的 shift 和训练好的 pt 对象必须存起来因为测试集每次进入都要用同一个 λ 和同一个平移量回放否则训练和推理的特征分布就对不齐。这里有个很多人会忽略的参数PowerTransformer 默认会复制一份数据对稀疏矩阵和缺失值都处理不了。所以进入 BoxCox 之前要先做缺失值填充。我的习惯是用中位数填充连续特征。中位数对异常值不敏感在医疗数据里比均值可靠得多并且填充逻辑也要在训练集上计算。2.4 变换后必须检查用偏度与直方图判断是否值得用到底BoxCox 不是银弹有些特征变换完之后仍然偏得厉害。所以每变换一个特征我都会顺手打印偏度 skew 值并画一张变换前后的直方图对比。import matplotlib.pyplot as plt fig, axes plt.subplots(1, 2, figsize(12, 4)) train_df[col].hist(axaxes[0], bins50) train_df[col _bx].hist(axaxes[1], bins50) skew_before train_df[col].skew() skew_after train_df[col _bx].skew() print(f{col}: skew {skew_before:.3f} - {skew_after:.3f})偏度在 -0.5 到 0.5 之间通常认为是可接受的超过 1 就说明变换效果不到位。如果 BoxCox 后仍然偏我一般不会在预处理里死磕而是选择对特征做分位数截断把前后 1% 的极端值压到边界上。原因很简单神经网络本身能拟合非线性关系预处理的目标不是造出一个完美的正态分布而是让梯度的敏感度不超过模型能处理的范围。这两个小图同时也会成为最终数据可视化分析报告的一部分直观展示“原始数据有多偏、预处理后变整齐”这个过程。3. 用Keras搭建前馈神经网络预测模型结构设计与代码拆解3.1 这个风险筛查任务为什么用前馈神经网络而不是卷积神经网络搜索“卷积神经网络”看到的大多是图像分类、目标检测。图像有相邻像素的局部相关性卷积核用几行代码就能提取空间特征。但糖尿病风险预测的输入是几十列独立的表格特征字段之间没有空间位置关系强行用卷积只是在数据上滑过一个没有意义的窗口白白增加参数和过拟合风险。前馈神经网络Feedforward Neural Network在这个场景下才是真正对口的模型每一层的每个神经元都把上一层的全部输出做加权求和再通过激活函数引入非线性。糖尿病风险本身是多因素共同作用的结果家族史的权重、年龄的权重、BMI 的权重之间存在各种交互关系比如“有家族史且 BMI 超标”的风险远大于两个因素单独风险之和这种交叉效应正是全连接层擅长的。Keras 把前馈网络搭得非常直接几十行代码就能把模型从定义到训练走通。这里我不需要 CNN不需要 LSTM甚至不需要 Transformer。表格数据在样本量只有几千到几万时一个三层全连接网络加上 Dropout 和批量归一化往往就能在验证集上做到和 XGBoost 差不多的水平同时还能输出连续概率供风险分层使用。3.2 Keras模型代码两个隐含层Dropout和批量归一化的位置不能乱下面是我在这个项目里使用的模型结构。输入维度由特征数量决定两个隐藏层分别用 64 和 32 个神经元为了让模型在表格数据上充分表达特征组合又不过量。import tensorflow as tf from tensorflow import keras from tensorflow.keras import layers keras.utils.set_random_seed(42) model keras.Sequential([ layers.Input(shape(X_train.shape[1],)), layers.Dense(64, activationrelu, kernel_regularizerkeras.regularizers.l2(1e-4)), layers.BatchNormalization(), layers.Dropout(0.3), layers.Dense(32, activationrelu), layers.Dropout(0.2), layers.Dense(1, activationsigmoid) ]) model.compile( optimizerkeras.optimizers.Adam(learning_rate1e-3), lossbinary_crossentropy, metrics[accuracy, keras.metrics.AUC(nameauc)] ) model.summary()这个结构里有几个参数值得细说。kernel_regularizer 的 l2 系数设成 1e-4作用是对权重的平方和做惩罚防止某个单一特征在训练中拿到过大的权重这在特征数量多、样本量少的医疗数据里尤其重要。BatchNormalization 放在第一个 Dense 层之后、Dropout 之前顺序不能调换如果先 Dropout 再 BNBN 在训练和推理时行为不一致验证集表现会明显打折。Dropout 的 0.3 和 0.2 是给中间层做随机失活用的训练时每次迭代随机关闭一部分神经元迫使网络学习冗余特征减少对个别输入的依赖。损失函数用 binary_crossentropy因为这是二分类问题。优化器用 Adam 而不是 SGD原因在于 Adam 每个参数有自适应学习率表格数据特征尺度差异大Adam 对初始学习率的敏感度低很多跑起来不用频繁调参就能收敛。3.3 数据管道把BoxCox结果、标准化、OneHot拼成一条完整链路模型只是引擎前面必须接一个统一的预处理管道。这里我用 sklearn 的 ColumnTransformer 来拼装连续特征先经过 BoxCox 再标准化分类特征走 OneHot。这个组合逻辑上清楚坑在于列顺序。ColumnTransformer 的输出顺序是按照你在 transformers 列表里声明的顺序拼接的如果训练时调整了列名顺序模型看到的数据结构就跟训练时不一致预测概率会完全乱掉。from sklearn.preprocessing import OneHotEncoder, StandardScaler from sklearn.compose import ColumnTransformer preprocessor ColumnTransformer([ (cont, StandardScaler(), [c _bx for c in continuous_cols]), (cat, OneHotEncoder(handle_unknownignore), cat_cols) ]) X_train preprocessor.fit_transform(train_df) X_test preprocessor.transform(test_df)这段代码里有两个要点值得注意。OneHotEncoder 的 handle_unknown 参数设成 ignore是为了防止测试集里出现训练集没见过的类别值时报错医疗数据里这个问题很现实比如“吸烟状态”字段偶尔会出现训练集没有的缺失标记编码。另一个是 StandardScaler 和 BoxCox 可以连锁使用BoxCox 只负责校正偏度标准化负责把数据中心到均值 0、方差 1两个步骤各管一段都保留下来才能保证 Keras 训练时每个特征对梯度的影响是平等的。环境方面现在 Keras 已经作为 tf.keras 直接集成在 TensorFlow 里安装时直接装 TensorFlow 就够了。新手容易踩的坑是同时装了独立 keras 包和 tf.keras版本不同导致模型保存后再加载报一堆奇怪的属性错误。我的建议是环境里只保留一个来源训练和部署用同一份依赖清单避免不同的 Transform 位置引入额外维度差异。3.4 多核调度训练慢不一定是模型问题也可能是线程资源配置Keras 在 CPU 上训练表格数据时数据量不大层也不深但如果你开了全部内核跑一个迷你模型反而会因为线程间通信开销让每个 epoch 变慢。这里需要对 TensorFlow 的线程参数做显式配置import tensorflow as tf # intra-op单个算子内部的并行线程数建议设为物理 CPU 核数 # inter-op不同算子之间的并行线程数2~4 就够设太大会出现锁竞争 tf.config.threading.set_intra_op_parallelism_threads(8) tf.config.threading.set_inter_op_parallelism_threads(2)这两个配置属于通用神经网络处理器里很典型的多核调度问题线程不是越多越好而是要看计算图里单个算子大不大。表格数据的 Dense 层本质是矩阵乘法矩阵维度不大时单算子并行度太高收益很低反过来 inter-op 设太大多个小算子同时在不同线程上排队反而把 CPU 资源浪费在切换上。本地训练时我会把 intra-op 设成物理核数inter-op 设成 2虚拟机上再根据核数按比例收缩。4. 训练评估与可视化分析从模型输出到风险分层4.1 早停和学习率衰减先让训练跑稳再谈调参模型编译完成之后最忌一上来就 fit 几百个 epoch 然后挑一个看着最顺眼的轮次。正确的做法是把训练过程的监控和干预交给回调函数。早停负责在验证损失不再下降时停掉训练学习率衰减负责在损失平台期自动降低更新步长。from tensorflow.keras.callbacks import EarlyStopping, ReduceLROnPlateau es EarlyStopping(monitorval_loss, patience15, restore_best_weightsTrue) rlr ReduceLROnPlateau(monitorval_loss, factor0.5, patience5, min_lr1e-5) history model.fit( X_train, y_train, validation_split0.2, batch_size32, epochs200, callbacks[es, rlr], verbose1 )这里几个参数都是踩坑踩出来的。patience15 表示连续 15 个 epoch 验证损失没有改善就停止太小会错过后期微调的机会太大则浪费时间。restore_best_weightsTrue 一定要开否则训练结束后模型参数停留在最后一个 epoch而不是验证集上表现最好的那一个。ReduceLROnPlateau 的 factor0.5 表示学习率减半min_lr 设 1e-5 防止衰减到零。batch_size 对表格数据我用 32样本量上万可以提到 64但这个项目里小批量反而让梯度更平稳。4.2 评估指标与可视化准确率被严重高估AUC和召回率才是关键二分类问题最舒服的输出是 sigmoid 给出的 0 到 1 概率。但很多代码直接拿 0.5 当阈值然后把 ? 准确率当作衡量模型好坏的标准。在糖尿病风险数据里未患病样本通常占大头模型即使把所有样本都预测成 0准确率也能到 80% 以上看起来毫无意义却没有预警能力。所以我在评估时唯一关注的曲线是 ROC 和 PR尤其是召回率。from sklearn.metrics import roc_auc_score, confusion_matrix from sklearn.metrics import roc_curve, precision_recall_curve import matplotlib.pyplot as plt y_pred_prob model.predict(X_test, verbose0).ravel() auc roc_auc_score(y_test, y_pred_prob) print(fAUC {auc:.4f}) # 早筛场景阈值压低到 0.3宁可多一些疑似也别漏掉真实阳性 y_pred (y_pred_prob 0.3).astype(int) tn, fp, fn, tp confusion_matrix(y_test, y_pred).ravel() sensitivity tp / (tp fn) specificity tn / (tn fp) print(fSensitivity召回率 {sensitivity:.3f}, Specificity {specificity:.3f}) fpr, tpr, _ roc_curve(y_test, y_pred_prob) plt.plot(fpr, tpr, labelfAUC{auc:.3f}) plt.xlabel(False Positive Rate) plt.ylabel(True Positive Rate) plt.legend()AUC 衡量的是模型把正样本排在负样本前面的能力不受阈值影响是比赛榜和论文里最常见的指标。但在真实筛查场景里光看 AUC 不够还要看一个具体的操作点。预测阈值默认 0.5 对筛查太严格因为糖尿病早筛的意义是先把可疑人群圈出来后续再通过口服糖耐量测试确认。把阈值从 0.5 压到 0.3召回率会明显升高代价是特异性降低也就是多了一些假阳性。4.3 风险分层可视化把连续概率变成低中高三档决策参考模型输出的 probability 是一堆 0.372、0.614 这样的浮点数直接给医生看并不直观。更常见的落地做法是把概率切成三档映射成低风险、中风险、高风险再配合直方图把整个人群的风险分布画出来。import pandas as pd risk_level pd.cut( y_pred_prob, bins[0, 0.3, 0.7, 1.0], labels[低风险, 中风险, 高风险] ) result pd.DataFrame({ probability: y_pred_prob, risk_level: risk_level, label: y_test }) risk_counts result[risk_level].value_counts().sort_index()这个切分使用的 bins 跟前面的阈值是配套的概率低于 0.3 进入低风险0.3 到 0.7 是中风险超过 0.7 直接进高风险。两个边界可以按业务口径调整但必须和模型的召回率指标一起报告。数据可视化在这里不只是为了好看它其实是在回答一个决策问题如果拿这套系统去做筛查会有多少人被划到高风险组其中多少人最终确诊——这就构成了人群风险分布图的核心内容。5. 糖尿病风险预测系统常见问题排查BoxCox翻车、数据泄漏与阈值失误5.1 现象BoxCox 直接报 ValueError说数据包含非正值原因PowerTransformer 使用 methodbox-cox 时内部会检查输入是否严格大于 0。体检数据里的胰岛素、C 肽这类指标经常出现 0 值还有一些字段在原始 Excel 里是负数比如“血糖变化量”这种衍生特征。解决在 fit_transform 之前先对特征做平移平移量取最小值的绝对值加一个微小量比如 1e-6。平移量必须记录下来推理时对测试集用完全相同的平移量。如果这一列的非正值占比超过 5%我会直接用 methodyeo-johnson这个方法允许 0 和负数不需要平移代价是解释性略差。这两条路都是可行的选哪条取决于业务是否要求你报告“我用了 BoxCox”。5.2 现象训练集 AUC 0.92测试集掉到 0.60评估分数虚高原因这是典型的数据泄漏。最常见的泄漏不是模型问题而是预处理顺序错了——在切分训练集和测试集之前先用全量数据做缺失值填充、BoxCox 拟合或标准化。测试集的统计信息因此渗入训练过程模型相当于偷偷看到了测试集的长相训练时表现好得离谱一到真正未知数据就原形毕露。解决先把数据集用 train_test_split 切分再在训练集的子集上计算中位数、BoxCox 的 λ、StandardScaler 的均值和方差测试集只能调用 transform 回放。Scikit-learn 的 Pipeline 和 ColumnTransformer 会把这件事约束好所以我强烈建议不要手写scale (df - df.mean()) / df.std()这条代码如果放在切分之前再厉害的神经网络也无法挽救泄漏。5.3 现象训练 loss 不断下降验证 loss 先降后升呈现一个 V 字形原因这是过拟合的典型轨迹。前馈神经网络的容量足够记住训练集里所有样本尤其是特征维度高、样本量只有几千的时候。Dropout 开了但比例不够BatchNormalization 又让每层输出被归一化进一步掩盖了过拟合信号。解决先确认 EarlyStopping 的 restore_best_weightsTrue 已开启否则训练结束后保存的是最后一个 epoch 的参数正好落在验证 loss 的上升段。之后再看 Dropout 比例0.3 不够就提到 0.5同时把 l2 正则系数从 1e-4 调到 1e-3。还有一个检查技巧把训练好的模型在训练集上重新 predict 一次如果训练集 AUC 接近 1.0 而验证集只有 0.7模型容量太高减小第一个 Dense 层的神经元数量往往比无脑加大 Dropout 更有效。5.4 现象准确率 92%但高风险人群里有大量确诊患者被漏掉原因准确率这个指标在不平衡数据里会骗人。假设数据里只有 9% 是糖尿病阳性模型把所有样本都预测成阴性准确率就是 91%。但是一个用于早期筛查的工具漏掉一个真实阳性比多报一个假阳性严重得多因为被漏掉的人不会进入下一步的糖耐量检查风险被全部吞掉。解决评估指标改成召回率和 AUC 联合看模型训练时给正样本更高的权重。Keras 的 fit 支持 class_weight 参数手动指定“正样本:负样本 总样本数 / (类别数 × 本类样本数)”这种比例关系或者简单粗暴设为 5:1。同时把预测阈值从 0.5 降到 0.3 再测一遍召回率对比结果选择业务可接受的操作点。阈值的选择不能单看 AUC要把阈值概率对应的假阳性率报给业务方让医生决定漏诊和误诊哪个更不能接受。5.5 现象同一个模型在不同机器上跑出不一样的结果复现性差原因神经网络初始化、Dropout 随机失活、数据加载顺序都会引入随机性。Keras 在 CPU 上的某些算子也有非确定性浮点累加比如矩阵乘法在 Intel MKL 下的多线程求和顺序不同最终结果在小数点后可能有差异。版本问题更普遍keras 2.x 和 keras 3.x 的默认行为差异不小同样的 Sequential 结构训练出来的权重分布会有肉眼可见的偏差。解决在代码顶部显式调用keras.utils.set_random_seed(42)同时把 TensorFlow 的线程配置固定下来。训练完成后保存的是整个管道而不仅仅是 model.weights——用 joblib 把 pt_dict、shift、preprocessor 一起 dump 到磁盘推理时加载同一套对象而不是重新计算预处理参数。最后在项目根目录放一个 requirements.txt把所有相关库的版本锁住避免队友或服务器上装到不同版本。6. 交付前的自检用一位真实样本回放整个预测链路这套系统做到这里代码不光服务于天池比赛排行榜更是一个能落地的风险筛查辅助工具。比赛里你可能只需要提交一个概率文件但实际交付时用户要看到的是“输入一份体检数据 → 系统输出一个风险等级和依据”中间不能有黑匣子。所以我每次做完模型一定会做一次完整的端到端回放从原始表格里挑出三到五条阳性样本模拟新用户从头走一遍预处理管道确认每个 BoxCox 的 shift 和 λ 都按训练时的参数在起作用而不是看到一行概率却解释不了它从哪来。# 新样本回放一次完整的预测链路 new_sample sample_raw_df.copy() for col in continuous_cols: new_sample[col _bx] boxcox_transform_inference( new_sample[col], col, pt_dict ) feat preprocessor.transform(new_sample) prob model.predict(feat, verbose0).ravel()[0] risk 高风险 if prob 0.7 else (中风险 if prob 0.3 else 低风险) print(f风险概率: {prob:.2%}分层: {risk})这个流程是整篇文章的收口也是对上面所有参数设置的验证。如果某位阳性的真实样本在本系统里被划到低风险我不会急着调模型而是先回去检查它的预处理路径是不是某列在训练时偏移了是不是 OneHot 里出现了 unknown 维度被忽略是不是 BoxCox 输出在 StandardScaler 之后超出了训练分布的范围。每一处都可能让概率差出 20 个百分点。我的习惯是每次跑通新数据先把这套回放脚本存为项目里唯一可信的验证入口。模型训练可以反复重跑但回放脚本一旦写成就尽量不改因为它是所有实验之间可比的基准。数据可视化部分也一样哪个风险分层的阈值改了对应的直方图重新生成而不是等最后一起算。评估报告里贴的每张图都应该能追溯到一条实际命令和对应版本否则别人拿同样数据跑一遍结果不一样就很难判断是模型的问题还是预处理版本的问题。这整套做下来BoxCox 不再只是一个变换函数而是整个筛查工具里承上启下的那一环它让偏态特征变成神经网络能高效学习的分布又让最终的风险分层在统计上说得通。希望这个过程和踩过的这些坑能帮你在自己的糖尿病风险预测项目里少走一段弯路。本文还有配套的精品资源点击获取