尧图网站建设 
简介面向金融风控领域开发者与数据分析师这份基于Python与toad库的评分卡示例包覆盖特征筛选、分箱、WOE转换、模型评估与评分卡生成等关键环节完整展示了从原始数据到信用评分的落地流程适用于信贷审批、风险定价等智能风控场景。资源压缩包内共2个文件包含1个可直接运行的Python脚本和1个配套说明文档整体仅5.8MB轻量易用便于快速复现与二次扩展。目前已有271人学习/下载适合希望掌握智能风控评分卡建模方法的读者参考。通过示例代码用户可以理解toad库在信用评分场景中的核心用法按照示例流程熟悉特征处理、模型训练与分数映射的细节有效降低搭建与调试成本。配套说明文档还补充了评分卡结果解读与代码执行说明有助于将模型输出转化为业务可理解的信用评分可直接作为项目初期的技术参考。 做信贷风控建模的同学应该都被评分卡“折磨”过。从数据清洗、分箱、WOE编码、IV筛选到逻辑回归最后还得手动把回归系数换算成分数中间每一步都有不少坑。之前我带新人做项目光是把这套流程完整跑通就要花上一周而且每个人写的代码风格还不一样交接起来非常痛苦。后来用了蚂蚁集团开源的toad库整个流程被压缩到了几十行代码从原始数据到评分卡输出基本上半天就能搞定。这篇博文就从一个实际可复现的案例出发用完整的示例代码和公开数据集把基于toad生成评分卡的完整流程拆开揉碎讲清楚。不管你是刚接触风控建模的新手还是被手工分箱和分数映射搞到头秃的资深开发这篇文章都能给你一套可以直接“抄作业”的解决方案。1. 项目背景与建模思路拆解1.1 评分卡到底是什么它解决了什么问题评分卡在信贷业务里几乎是标配它本质上是一个将违约概率映射成分数的模型。举个场景用户在APP上申请一笔贷款系统需要在几秒钟内决定批不批、给多少额度这个决策背后就是一个评分卡在打分650分以上自动通过550到650之间转人工审核550以下直接拒绝。传统的评分卡大多基于逻辑回归模型因为它有一个其他算法不具备的优势——可解释性极强。我们不仅要知道“这个用户该拒绝”还要向监管、向用户解释“为什么拒绝”逻辑回归的系数可以直接转化成业务语言比如“近三个月查询次数越多分数越低”。评分卡的核心转换逻辑是把逻辑回归的ln(odds)好坏比的自然对数做一个线性变换转换公式如下# 评分卡的核心映射公式 # score base_score (pdo / ln(2)) * ln(base_odds / odds) # 其中 odds 好客户概率 / 坏客户概率 # pdo是odds翻倍时需要增加的分数业内通常取50 # base_odds是基准好坏比比如35:1 # base_score是基准分比如750分手动实现这个映射并不难但和分箱、WOE转换、特征筛选放在一起整套流程写下来至少要两三百行代码而且每一步都需要检测各类边界条件非常容易出错。toad的价值就在于把这条流水线全部封装好了我们只需要关注业务逻辑和参数调优不需要重复造轮子。1.2 为什么选toad而不是自己手写流程市面上做评分卡的开源方案其实不少老牌的有scorecardpy工业界也有optbinning可以做高级分箱。但toad有一个综合优势它覆盖了从EDA检测、缺失值填充、异常值处理、分箱、WOE转换、IV筛选、逐步回归到评分卡映射和模型评估的完整闭环。也就是说你不需要在多个库之间来回切换一个toad就全部搞定了。另外一点很关键toad的分箱和转换对象是独立可序列化的。我们在训练集上拟合的Combiner和WOETransformer可以直接被ScoreCard复用这意味着训练和上线预测用的是一套完全一致的逻辑不会出现训练时一种分箱方式、上线时另一种的情况。这个设计在模型部署阶段能省掉很多沟通和联调成本。从我实际使用的体感来看toad的项目结构非常清晰源码也不复杂遇到问题可以直接看源码排查这一点比很多黑盒库要给力得多。2. 环境准备与公开数据集说明2.1 安装toad及依赖环境toad对Python版本要求比较宽松Python 3.6到3.10实测都没问题。安装直接用pip就行# 建议在虚拟环境中安装 pip install toad # 如果网络较慢可以加镜像源 # pip install toad -i https://pypi.tuna.tsinghua.edu.cn/simpletoad底层依赖pandas、numpy、scikit-learn、statsmodels这几个常见库pip会自动解析安装。如果你的环境里已经有scikit-learn建议保持在0.24以上的版本太老的版本在逐步回归环节可能会有API兼容问题。安装完成后可以用一行代码确认import toad print(toad.__version__) # 正常会输出 0.1.2 左右的版本号2.2 案例数据集选择与字段解读为了方便大家复现这里选用toad内置的germancredit数据集。这个数据集是UCI的德国信用数据集包含1000条样本每条样本有20个特征字段标签是creditability1代表好客户0代表坏客户好客户700个、坏客户300个是一个经典的小样本信用评分数据集。import pandas as pd import toad # 加载德国信用数据集 data toad.load_data(germancredit.csv) # 查看数据结构 print(data.shape) # 输出 (1000, 21) print(data.head()) # 交易流水字段 print(data[creditability].value_counts()) # 0 300 # 1 700数据集中包含的字段类型很丰富适合演示完整的建模流程数值型duration贷款期限、amount贷款金额、age年龄等类别型credit_history信用记录、purpose贷款用途、savings储蓄账户等目标变量creditability有朋友会问真实业务中的数据集都比这个大得多这个千级样本的案例有参考价值吗我的看法是评分卡的建模方法论和数据量大小关系不大重要的是掌握流程和参数调整的思路。真实业务里无非是特征更多、样本更多但每一步操作的逻辑是完全一致的。对于想快速上手toad的朋友来说这个数据集刚好合适——样本量小跑起来快字段有代表性踩坑调试的成本也低。3. 完整实操流程从数据清洗到评分卡生成3.1 数据切分与EDA体检建模的第一步永远是切分数据集千万不能先做分箱或WOE转换再切分这会导致严重的数据泄露。所谓数据泄露就是你在训练集上拟合的统计规律比如分箱边界已经包含了测试集的信息测试集测试出来的效果会虚高上线后真实表现会打折扣。from sklearn.model_selection import train_test_split # 按7:3划分训练集和测试集固定随机种子保证可复现 train, test train_test_split(data, test_size0.3, random_state42) # toad.detect一键输出数据体检报告 toad.detect(train)toad.detect的输出非常直观一个DataFrame里包含了每列的数据类型、缺失率、唯一值数量、均值、标准差、分位数等信息。我在项目里通常重点关注三个指标缺失率超过90%的字段基本可以直接删掉保留没有建模意义唯一值数量如果某个字段只有一个值称为“零方差特征”对模型没有任何区分能力分布极值比如amount字段如果有几个极端大额样本可能与实际业务不符需要排查实际建模时germancredit数据集中本身没有明显缺失但真实业务不可能这么干净。toad提供了一系列数据清洗的工具函数可以直接调用# 缺失率超过95%的列会被删除 temp toad.clean(train, empty0.95) # 用中位数填充缺失值也可以指定具体的填充值 temp toad.fillna(temp, valuemedian) # 基于均值和标准差剔除极端异常值3倍标准差以外的样本会置为NaN temp toad.clean(temp, std3)有一点要提醒新手toad.clean里std3的异常值处理是把超出3倍标准差的样本值直接置为NaN而不是删除样本。所以通常的做法是先clean再加fillna顺序不能反。3.2 分箱与WOE转换评分卡的精髓评分卡和普通机器学习模型最大的区别就在这一步——分箱。分箱的目的是把连续变量离散化把类别变量合并成有限的几个组然后在每个箱子上计算WOEWeight of Evidence证据权重值用WOE值替换原始值作为模型输入。为什么非得这么做有两个原因一是逻辑回归对输入特征的尺度敏感而真实业务中的连续变量如年龄、收入往往不是线性的年龄段和违约率之间经常是U型关系直接塞进逻辑回归会丢失这种非线性信息二是分箱之后的模型更稳健不会因为某个用户年龄从35岁变成36岁就导致评分剧烈波动同时也能规避极端异常值的影响。toad里分箱统一用Combiner对象完成支持卡方分箱、决策树分箱、等频分箱、等距分箱等多种方法# 初始化Combiner combiner toad.transform.Combiner() # 训练卡方分箱 # methodchi表示卡方分箱是评分卡最常用的分箱方法 # min_samples0.05表示每个箱子至少包含5%的样本防止箱子过细过碎 combiner.fit(train, ycreditability, methodchi, min_samples0.05) # 查看具体分箱结果 for col in train.columns: if col ! creditability: print(col, combiner.export()[col])一个让我印象深刻的字段是age。germancredit数据集中年龄的分箱结果大致是这样的年龄在26岁以下和34到39岁之间的坏样本率偏高而28到33岁左右的客户反而风险较低。这种“非单调”的关系在原始连续值上根本无法体现只有分箱后才能暴露出来。分箱之后就要计算WOE了。WOE的公式是ln(坏样本分布 / 好样本分布)它衡量的是“这个箱子里坏客户相对好客户的浓度”。WOE值为正表示坏客户占比高为负表示好客户占比高为0表示没有区分度。toad的WOETransformer一步到位# 基于训练集拟合WOE转换器 transer toad.transform.WOETransformer() train_woe transer.fit_transform(train, train[creditability]) # 对测试集做同样的转换这里注意是transform而不是fit_transform test_woe transer.transform(test)这里我再强调一遍测试集绝对不能fit_transform否则就是数据泄露。WOETransformer对象内部保存了分箱边界和每个箱子的WOE值测试集进来只能查表映射。3.3 特征筛选去粗取精的关键一环做完WOE转换接下来是特征筛选。评分卡领域最常用的筛选指标是IVInformation Value信息价值它和WOE紧密相关。IV的计算就是每个箱子的(好样本分布 - 坏样本分布) * WOE之和直观理解就是“这个特征整体上能区分好坏客户的总能力”。toad用一行代码就能计算所有特征的IV值# toad.quality输出每个特征的IV值、缺失率、分箱数等信息 quality toad.quality(train_woe, creditability) print(quality)行业里通常按IV值给特征分等级IV范围预测能力处理建议 0.02无预测力直接删除0.02 ~ 0.1较弱的预测力结合业务判断是否保留0.1 ~ 0.3中等预测力优先保留0.3 ~ 0.5较强的预测力重点保留 0.5异常高警惕数据泄露或未来信息在germancredit数据集中duration和amount的IV值通常最高和业务常识也吻合贷款期限越长、金额越大违约风险越高。但是只看IV还不够特征之间还存在多重共线性问题。两个强变量如果高度相关放进逻辑回归里会让系数极不稳定今天训练是正系数明天换一批数据就变负了。所以toad提供了一步到位的特征筛选函数同时考虑缺失率、IV值、相关性还支持逐步回归# empty0.9表示缺失率超过90%的特征直接删除 # iv0.02表示IV值低于0.02的特征删除 # corr0.7表示两两相关系数超过0.7时IV值低的那个被删除 # return_dropTrue可以查看具体删除了哪些特征 selected toad.selection.select(train_woe, train_woe[creditability], empty0.9, iv0.02, corr0.7, return_dropTrue)选完特征之后selected就是训练评分卡的最终数据了。删除后的特征列表可以通过selected[1]查看方便后续写模型文档时记录每个特征的“去留原因”。这一步强烈建议保留输出因为风控模型的评审和审计非常看重这些决策依据。3.4 逻辑回归训练与分数刻度映射评分卡的优势在于可解释性逻辑回归自然成了首选模型。toad里训练逻辑回归不需要手动处理WOE替换和系数映射直接调用ScoreCard类就能完成全流程from sklearn.linear_model import LogisticRegression from toad.scorecard import ScoreCard # 训练逻辑回归模型 lr LogisticRegression(max_iter1000) lr.fit(selected.drop(columnscreditability), selected[creditability]) # 生成评分卡 # combiner传入分箱器transer传入WOE转换器 # base_score750是基准分 # base_odds35表示好坏比35:1时对应基准分 # pdo50表示好坏比翻倍时分数增加50 card ScoreCard(combinercombiner, transertranser, base_score750, base_odds35, pdo50) card.fit(selected.drop(columnscreditability), selected[creditability]) # 输出评分卡明细 final_card card.export() print(final_card)这里有必要解释一下base_odds、base_score和pdo这三个参数的联动逻辑。它们共同决定了评分的分布区间和业务含义base_score750当用户的好坏比正好等于base_odds时评分为750分base_odds35即好客户概率是坏客户概率的35倍时对应基准分750分pdo50好坏比每翻一倍分数增加50分很多人在这一步会困惑“这个参数应该怎么定”我的经验是没有标准答案完全取决于业务目标。如果产品希望分数集中在600到700之间可以调低base_score或调大base_odds。实际项目中我会先在测试集上跑一版默认参数观察分数分布后再根据业务需求微调。toad的这套设计好在它把分数校准逻辑封装得很干净调参只需要改三个参数重跑一次代码就能看到新的分布。3.5 给全量数据打分与分数分布检验评分卡生成之后肯定要给样本打分看看分布是否合理# 对训练集和测试集打分 train_score card.predict(train) test_score card.predict(test) # 查看分数分布 print(train_score.describe()) print(test_score.describe())正常情况下的分数分布应该大致呈现正态分布而且好客户和坏客户的分数应该有明显分隔。如果发现所有样本的分数都挤在一起或者好坏客户的分数几乎没有区分度那就要回过头去检查分箱参数、特征筛选阈值或者逻辑回归的正则化系数。评分卡的魅力就在于每一步都能回溯、能诊断而不是一个盲目运行的黑盒。4. 模型验证与高频踩坑实录4.1 用toad快速评估区分度和稳定性评分卡上线前必须做两类验证区分度和稳定性。区分度看的是模型能不能把好坏客户分开稳定性看的是模型在训练集和测试集上表现是否一致。toad内置的KS和AUC计算一行代码就行from toad.metrics import KS, AUC # 训练集和测试集上的区分度对比 print(Train KS:, KS(train_score, train[creditability])) print(Test KS:, KS(test_score, test[creditability])) print(Test AUC:, AUC(test_score, test[creditability]))KS值的行业参考线是大于0.3可以接受大于0.4表现优秀大于0.5要警惕过拟合。如果训练集KS是0.5、测试集只有0.3说明模型泛化能力不行。germancredit数据集相对简单一版跑下来KS通常能达到0.4以上作为学习案例完全够用了。稳定性方面评分卡领域最常用的是PSIPopulation Stability Index衡量的是训练集和未来实际进件分布之间的偏移。toad的PSI计算也很方便from toad.metrics import PSI # 比较训练集和测试集的分数分布偏移 psi_value PSI(train_score, test_score) print(PSI:, psi_value) # PSI小于0.1表示分布稳定0.1到0.25之间需要关注大于0.25说明分布发生显著偏移4.2 我踩过的那些坑第一个坑是分箱参数min_samples设置得过小。早期我做分箱时图省事直接用了默认参数结果发现某个特征的某两个箱子加起来只有两三条样本WOE值算出来异常大模型的评分出现了极端的分数段。后来学乖了min_samples至少要保证每个箱子有5%以上的样本小数据集上甚至可以放宽到10%。宁可牺牲一点信息量也要保证模型稳定。第二个坑是忘记做测试集的transform操作。有次项目赶进度我在测试集上直接调用了fit_transform结果测试集KS高达0.65当时心里还窃喜幸好同事提醒了一句才发现分箱边界和WOE值全部用了测试集自己的分布这相当于“考试漏题”。从那以后我给自己定了个规矩所有fit操作全部在训练集完成测试集永远只做transform。第三个坑和缺失值处理有关。toad的Combiner在分箱时对于缺失值有特殊处理逻辑会把缺失单独作为一个箱子。但如果你在用WOETransformer之前先做了fillna那缺失值就会被填充到一个具体的数值区间里这时候分箱边界就需要重新训练。所以正确的顺序应该是先看toad.detect的缺失报告再决定哪些特征保留缺失箱、哪些特征做填充而不是一股脑全部填充。4.3 toad实用小技巧与扩展思路toad有一个非常实用的可视化函数badrate_plot专门用来观察某个特征在不同分箱下的坏样本率变化趋势from toad.plot import badrate_plot # 按月份观察坏样本率变化趋势 badrate_plot(train, targetcreditability, featureduration)这个图在真实业务中特别有用。比如duration这个特征如果你发现坏样本率在某个分段突然飙升那这个分段就可以考虑在贷前策略里直接拒绝而不只是通过评分卡降权。另外如果你觉得ScoreCard内置的分数缩放不满足需求可以自己定义函数调整。toad的评分卡本质上是把逻辑回归的系数线性映射到分数你完全可以在拿到card.export()之后手动改写映射关系。比如你希望把基准分改成800或者希望好客户分数整体往高了拉可以直接修改base_score和base_odds重新训练不需要改任何特征逻辑。最后再分享一个我在实际项目中比较常用的步骤评分卡生成之后一定要把card.export()的结果导出成Excel或者CSV交给业务方评审。评分卡模型不只是技术活它还需要业务同事和审批同事确认打分逻辑是否合理比如“为什么房贷用户的分数普遍比消费贷用户高”这些问题在评审会上一定会被问到。toad导出的评分卡格式非常清晰每一列特征、每一个分箱区间、对应的分数都列得明明白白直接可以作为评审材料使用。如果你接下来想深入学习建议可以尝试把这个案例换成自己的业务数据增加特征数量观察toad在大数据集上的表现也可以研究一下toad源码里Combiner的分箱算法实现这对理解卡方分箱背后的统计原理会有很大帮助。评分卡这条路不算新但把每个环节做得扎实、可解释才是它在风控体系里长期不可替代的原因。本文还有配套的精品资源点击获取 基于toad的信贷风控评分卡建模全流程实战
简介面向金融风控领域开发者与数据分析师这份基于Python与toad库的评分卡示例包覆盖特征筛选、分箱、WOE转换、模型评估与评分卡生成等关键环节完整展示了从原始数据到信用评分的落地流程适用于信贷审批、风险定价等智能风控场景。资源压缩包内共2个文件包含1个可直接运行的Python脚本和1个配套说明文档整体仅5.8MB轻量易用便于快速复现与二次扩展。目前已有271人学习/下载适合希望掌握智能风控评分卡建模方法的读者参考。通过示例代码用户可以理解toad库在信用评分场景中的核心用法按照示例流程熟悉特征处理、模型训练与分数映射的细节有效降低搭建与调试成本。配套说明文档还补充了评分卡结果解读与代码执行说明有助于将模型输出转化为业务可理解的信用评分可直接作为项目初期的技术参考。 做信贷风控建模的同学应该都被评分卡“折磨”过。从数据清洗、分箱、WOE编码、IV筛选到逻辑回归最后还得手动把回归系数换算成分数中间每一步都有不少坑。之前我带新人做项目光是把这套流程完整跑通就要花上一周而且每个人写的代码风格还不一样交接起来非常痛苦。后来用了蚂蚁集团开源的toad库整个流程被压缩到了几十行代码从原始数据到评分卡输出基本上半天就能搞定。这篇博文就从一个实际可复现的案例出发用完整的示例代码和公开数据集把基于toad生成评分卡的完整流程拆开揉碎讲清楚。不管你是刚接触风控建模的新手还是被手工分箱和分数映射搞到头秃的资深开发这篇文章都能给你一套可以直接“抄作业”的解决方案。1. 项目背景与建模思路拆解1.1 评分卡到底是什么它解决了什么问题评分卡在信贷业务里几乎是标配它本质上是一个将违约概率映射成分数的模型。举个场景用户在APP上申请一笔贷款系统需要在几秒钟内决定批不批、给多少额度这个决策背后就是一个评分卡在打分650分以上自动通过550到650之间转人工审核550以下直接拒绝。传统的评分卡大多基于逻辑回归模型因为它有一个其他算法不具备的优势——可解释性极强。我们不仅要知道“这个用户该拒绝”还要向监管、向用户解释“为什么拒绝”逻辑回归的系数可以直接转化成业务语言比如“近三个月查询次数越多分数越低”。评分卡的核心转换逻辑是把逻辑回归的ln(odds)好坏比的自然对数做一个线性变换转换公式如下# 评分卡的核心映射公式 # score base_score (pdo / ln(2)) * ln(base_odds / odds) # 其中 odds 好客户概率 / 坏客户概率 # pdo是odds翻倍时需要增加的分数业内通常取50 # base_odds是基准好坏比比如35:1 # base_score是基准分比如750分手动实现这个映射并不难但和分箱、WOE转换、特征筛选放在一起整套流程写下来至少要两三百行代码而且每一步都需要检测各类边界条件非常容易出错。toad的价值就在于把这条流水线全部封装好了我们只需要关注业务逻辑和参数调优不需要重复造轮子。1.2 为什么选toad而不是自己手写流程市面上做评分卡的开源方案其实不少老牌的有scorecardpy工业界也有optbinning可以做高级分箱。但toad有一个综合优势它覆盖了从EDA检测、缺失值填充、异常值处理、分箱、WOE转换、IV筛选、逐步回归到评分卡映射和模型评估的完整闭环。也就是说你不需要在多个库之间来回切换一个toad就全部搞定了。另外一点很关键toad的分箱和转换对象是独立可序列化的。我们在训练集上拟合的Combiner和WOETransformer可以直接被ScoreCard复用这意味着训练和上线预测用的是一套完全一致的逻辑不会出现训练时一种分箱方式、上线时另一种的情况。这个设计在模型部署阶段能省掉很多沟通和联调成本。从我实际使用的体感来看toad的项目结构非常清晰源码也不复杂遇到问题可以直接看源码排查这一点比很多黑盒库要给力得多。2. 环境准备与公开数据集说明2.1 安装toad及依赖环境toad对Python版本要求比较宽松Python 3.6到3.10实测都没问题。安装直接用pip就行# 建议在虚拟环境中安装 pip install toad # 如果网络较慢可以加镜像源 # pip install toad -i https://pypi.tuna.tsinghua.edu.cn/simpletoad底层依赖pandas、numpy、scikit-learn、statsmodels这几个常见库pip会自动解析安装。如果你的环境里已经有scikit-learn建议保持在0.24以上的版本太老的版本在逐步回归环节可能会有API兼容问题。安装完成后可以用一行代码确认import toad print(toad.__version__) # 正常会输出 0.1.2 左右的版本号2.2 案例数据集选择与字段解读为了方便大家复现这里选用toad内置的germancredit数据集。这个数据集是UCI的德国信用数据集包含1000条样本每条样本有20个特征字段标签是creditability1代表好客户0代表坏客户好客户700个、坏客户300个是一个经典的小样本信用评分数据集。import pandas as pd import toad # 加载德国信用数据集 data toad.load_data(germancredit.csv) # 查看数据结构 print(data.shape) # 输出 (1000, 21) print(data.head()) # 交易流水字段 print(data[creditability].value_counts()) # 0 300 # 1 700数据集中包含的字段类型很丰富适合演示完整的建模流程数值型duration贷款期限、amount贷款金额、age年龄等类别型credit_history信用记录、purpose贷款用途、savings储蓄账户等目标变量creditability有朋友会问真实业务中的数据集都比这个大得多这个千级样本的案例有参考价值吗我的看法是评分卡的建模方法论和数据量大小关系不大重要的是掌握流程和参数调整的思路。真实业务里无非是特征更多、样本更多但每一步操作的逻辑是完全一致的。对于想快速上手toad的朋友来说这个数据集刚好合适——样本量小跑起来快字段有代表性踩坑调试的成本也低。3. 完整实操流程从数据清洗到评分卡生成3.1 数据切分与EDA体检建模的第一步永远是切分数据集千万不能先做分箱或WOE转换再切分这会导致严重的数据泄露。所谓数据泄露就是你在训练集上拟合的统计规律比如分箱边界已经包含了测试集的信息测试集测试出来的效果会虚高上线后真实表现会打折扣。from sklearn.model_selection import train_test_split # 按7:3划分训练集和测试集固定随机种子保证可复现 train, test train_test_split(data, test_size0.3, random_state42) # toad.detect一键输出数据体检报告 toad.detect(train)toad.detect的输出非常直观一个DataFrame里包含了每列的数据类型、缺失率、唯一值数量、均值、标准差、分位数等信息。我在项目里通常重点关注三个指标缺失率超过90%的字段基本可以直接删掉保留没有建模意义唯一值数量如果某个字段只有一个值称为“零方差特征”对模型没有任何区分能力分布极值比如amount字段如果有几个极端大额样本可能与实际业务不符需要排查实际建模时germancredit数据集中本身没有明显缺失但真实业务不可能这么干净。toad提供了一系列数据清洗的工具函数可以直接调用# 缺失率超过95%的列会被删除 temp toad.clean(train, empty0.95) # 用中位数填充缺失值也可以指定具体的填充值 temp toad.fillna(temp, valuemedian) # 基于均值和标准差剔除极端异常值3倍标准差以外的样本会置为NaN temp toad.clean(temp, std3)有一点要提醒新手toad.clean里std3的异常值处理是把超出3倍标准差的样本值直接置为NaN而不是删除样本。所以通常的做法是先clean再加fillna顺序不能反。3.2 分箱与WOE转换评分卡的精髓评分卡和普通机器学习模型最大的区别就在这一步——分箱。分箱的目的是把连续变量离散化把类别变量合并成有限的几个组然后在每个箱子上计算WOEWeight of Evidence证据权重值用WOE值替换原始值作为模型输入。为什么非得这么做有两个原因一是逻辑回归对输入特征的尺度敏感而真实业务中的连续变量如年龄、收入往往不是线性的年龄段和违约率之间经常是U型关系直接塞进逻辑回归会丢失这种非线性信息二是分箱之后的模型更稳健不会因为某个用户年龄从35岁变成36岁就导致评分剧烈波动同时也能规避极端异常值的影响。toad里分箱统一用Combiner对象完成支持卡方分箱、决策树分箱、等频分箱、等距分箱等多种方法# 初始化Combiner combiner toad.transform.Combiner() # 训练卡方分箱 # methodchi表示卡方分箱是评分卡最常用的分箱方法 # min_samples0.05表示每个箱子至少包含5%的样本防止箱子过细过碎 combiner.fit(train, ycreditability, methodchi, min_samples0.05) # 查看具体分箱结果 for col in train.columns: if col ! creditability: print(col, combiner.export()[col])一个让我印象深刻的字段是age。germancredit数据集中年龄的分箱结果大致是这样的年龄在26岁以下和34到39岁之间的坏样本率偏高而28到33岁左右的客户反而风险较低。这种“非单调”的关系在原始连续值上根本无法体现只有分箱后才能暴露出来。分箱之后就要计算WOE了。WOE的公式是ln(坏样本分布 / 好样本分布)它衡量的是“这个箱子里坏客户相对好客户的浓度”。WOE值为正表示坏客户占比高为负表示好客户占比高为0表示没有区分度。toad的WOETransformer一步到位# 基于训练集拟合WOE转换器 transer toad.transform.WOETransformer() train_woe transer.fit_transform(train, train[creditability]) # 对测试集做同样的转换这里注意是transform而不是fit_transform test_woe transer.transform(test)这里我再强调一遍测试集绝对不能fit_transform否则就是数据泄露。WOETransformer对象内部保存了分箱边界和每个箱子的WOE值测试集进来只能查表映射。3.3 特征筛选去粗取精的关键一环做完WOE转换接下来是特征筛选。评分卡领域最常用的筛选指标是IVInformation Value信息价值它和WOE紧密相关。IV的计算就是每个箱子的(好样本分布 - 坏样本分布) * WOE之和直观理解就是“这个特征整体上能区分好坏客户的总能力”。toad用一行代码就能计算所有特征的IV值# toad.quality输出每个特征的IV值、缺失率、分箱数等信息 quality toad.quality(train_woe, creditability) print(quality)行业里通常按IV值给特征分等级IV范围预测能力处理建议 0.02无预测力直接删除0.02 ~ 0.1较弱的预测力结合业务判断是否保留0.1 ~ 0.3中等预测力优先保留0.3 ~ 0.5较强的预测力重点保留 0.5异常高警惕数据泄露或未来信息在germancredit数据集中duration和amount的IV值通常最高和业务常识也吻合贷款期限越长、金额越大违约风险越高。但是只看IV还不够特征之间还存在多重共线性问题。两个强变量如果高度相关放进逻辑回归里会让系数极不稳定今天训练是正系数明天换一批数据就变负了。所以toad提供了一步到位的特征筛选函数同时考虑缺失率、IV值、相关性还支持逐步回归# empty0.9表示缺失率超过90%的特征直接删除 # iv0.02表示IV值低于0.02的特征删除 # corr0.7表示两两相关系数超过0.7时IV值低的那个被删除 # return_dropTrue可以查看具体删除了哪些特征 selected toad.selection.select(train_woe, train_woe[creditability], empty0.9, iv0.02, corr0.7, return_dropTrue)选完特征之后selected就是训练评分卡的最终数据了。删除后的特征列表可以通过selected[1]查看方便后续写模型文档时记录每个特征的“去留原因”。这一步强烈建议保留输出因为风控模型的评审和审计非常看重这些决策依据。3.4 逻辑回归训练与分数刻度映射评分卡的优势在于可解释性逻辑回归自然成了首选模型。toad里训练逻辑回归不需要手动处理WOE替换和系数映射直接调用ScoreCard类就能完成全流程from sklearn.linear_model import LogisticRegression from toad.scorecard import ScoreCard # 训练逻辑回归模型 lr LogisticRegression(max_iter1000) lr.fit(selected.drop(columnscreditability), selected[creditability]) # 生成评分卡 # combiner传入分箱器transer传入WOE转换器 # base_score750是基准分 # base_odds35表示好坏比35:1时对应基准分 # pdo50表示好坏比翻倍时分数增加50 card ScoreCard(combinercombiner, transertranser, base_score750, base_odds35, pdo50) card.fit(selected.drop(columnscreditability), selected[creditability]) # 输出评分卡明细 final_card card.export() print(final_card)这里有必要解释一下base_odds、base_score和pdo这三个参数的联动逻辑。它们共同决定了评分的分布区间和业务含义base_score750当用户的好坏比正好等于base_odds时评分为750分base_odds35即好客户概率是坏客户概率的35倍时对应基准分750分pdo50好坏比每翻一倍分数增加50分很多人在这一步会困惑“这个参数应该怎么定”我的经验是没有标准答案完全取决于业务目标。如果产品希望分数集中在600到700之间可以调低base_score或调大base_odds。实际项目中我会先在测试集上跑一版默认参数观察分数分布后再根据业务需求微调。toad的这套设计好在它把分数校准逻辑封装得很干净调参只需要改三个参数重跑一次代码就能看到新的分布。3.5 给全量数据打分与分数分布检验评分卡生成之后肯定要给样本打分看看分布是否合理# 对训练集和测试集打分 train_score card.predict(train) test_score card.predict(test) # 查看分数分布 print(train_score.describe()) print(test_score.describe())正常情况下的分数分布应该大致呈现正态分布而且好客户和坏客户的分数应该有明显分隔。如果发现所有样本的分数都挤在一起或者好坏客户的分数几乎没有区分度那就要回过头去检查分箱参数、特征筛选阈值或者逻辑回归的正则化系数。评分卡的魅力就在于每一步都能回溯、能诊断而不是一个盲目运行的黑盒。4. 模型验证与高频踩坑实录4.1 用toad快速评估区分度和稳定性评分卡上线前必须做两类验证区分度和稳定性。区分度看的是模型能不能把好坏客户分开稳定性看的是模型在训练集和测试集上表现是否一致。toad内置的KS和AUC计算一行代码就行from toad.metrics import KS, AUC # 训练集和测试集上的区分度对比 print(Train KS:, KS(train_score, train[creditability])) print(Test KS:, KS(test_score, test[creditability])) print(Test AUC:, AUC(test_score, test[creditability]))KS值的行业参考线是大于0.3可以接受大于0.4表现优秀大于0.5要警惕过拟合。如果训练集KS是0.5、测试集只有0.3说明模型泛化能力不行。germancredit数据集相对简单一版跑下来KS通常能达到0.4以上作为学习案例完全够用了。稳定性方面评分卡领域最常用的是PSIPopulation Stability Index衡量的是训练集和未来实际进件分布之间的偏移。toad的PSI计算也很方便from toad.metrics import PSI # 比较训练集和测试集的分数分布偏移 psi_value PSI(train_score, test_score) print(PSI:, psi_value) # PSI小于0.1表示分布稳定0.1到0.25之间需要关注大于0.25说明分布发生显著偏移4.2 我踩过的那些坑第一个坑是分箱参数min_samples设置得过小。早期我做分箱时图省事直接用了默认参数结果发现某个特征的某两个箱子加起来只有两三条样本WOE值算出来异常大模型的评分出现了极端的分数段。后来学乖了min_samples至少要保证每个箱子有5%以上的样本小数据集上甚至可以放宽到10%。宁可牺牲一点信息量也要保证模型稳定。第二个坑是忘记做测试集的transform操作。有次项目赶进度我在测试集上直接调用了fit_transform结果测试集KS高达0.65当时心里还窃喜幸好同事提醒了一句才发现分箱边界和WOE值全部用了测试集自己的分布这相当于“考试漏题”。从那以后我给自己定了个规矩所有fit操作全部在训练集完成测试集永远只做transform。第三个坑和缺失值处理有关。toad的Combiner在分箱时对于缺失值有特殊处理逻辑会把缺失单独作为一个箱子。但如果你在用WOETransformer之前先做了fillna那缺失值就会被填充到一个具体的数值区间里这时候分箱边界就需要重新训练。所以正确的顺序应该是先看toad.detect的缺失报告再决定哪些特征保留缺失箱、哪些特征做填充而不是一股脑全部填充。4.3 toad实用小技巧与扩展思路toad有一个非常实用的可视化函数badrate_plot专门用来观察某个特征在不同分箱下的坏样本率变化趋势from toad.plot import badrate_plot # 按月份观察坏样本率变化趋势 badrate_plot(train, targetcreditability, featureduration)这个图在真实业务中特别有用。比如duration这个特征如果你发现坏样本率在某个分段突然飙升那这个分段就可以考虑在贷前策略里直接拒绝而不只是通过评分卡降权。另外如果你觉得ScoreCard内置的分数缩放不满足需求可以自己定义函数调整。toad的评分卡本质上是把逻辑回归的系数线性映射到分数你完全可以在拿到card.export()之后手动改写映射关系。比如你希望把基准分改成800或者希望好客户分数整体往高了拉可以直接修改base_score和base_odds重新训练不需要改任何特征逻辑。最后再分享一个我在实际项目中比较常用的步骤评分卡生成之后一定要把card.export()的结果导出成Excel或者CSV交给业务方评审。评分卡模型不只是技术活它还需要业务同事和审批同事确认打分逻辑是否合理比如“为什么房贷用户的分数普遍比消费贷用户高”这些问题在评审会上一定会被问到。toad导出的评分卡格式非常清晰每一列特征、每一个分箱区间、对应的分数都列得明明白白直接可以作为评审材料使用。如果你接下来想深入学习建议可以尝试把这个案例换成自己的业务数据增加特征数量观察toad在大数据集上的表现也可以研究一下toad源码里Combiner的分箱算法实现这对理解卡方分箱背后的统计原理会有很大帮助。评分卡这条路不算新但把每个环节做得扎实、可解释才是它在风控体系里长期不可替代的原因。本文还有配套的精品资源点击获取