尧图网站建设 
简介这份资源是面向大数据与金融风控方向开发者、学生及求职者的完整项目源码聚焦如何用Hadoop与Spark搭建信贷风险评估与管理系统解决海量借贷数据存储、实时评分与批量建模的问题。压缩包共69个文件约72KB以36个Java与8个Scala文件承载核心业务与计算逻辑12个XML及5个properties负责配置与依赖管理另含SQL建表脚本、前端JS页面和说明文档覆盖数据摄入、预处理、模型训练到风险评估的完整链路。项目结合Hadoop批量处理历史数据与Spark实时分析借贷申请涉及逻辑回归、决策树、随机森林等算法并包含数据集成、安全隐私与监控运维等模块。目前已有1219人学习下载适合希望深入理解大数据技术在金融信贷风控中落地实践的读者参考与二次开发。1. 拿到一套信贷风控源码先别急着跑这套 HadoopSpark 项目到底能解决什么信贷风控这个场景最怕的不是没数据而是数据散在十几个系统里、跑一次评分要等半天、模型上线后没人知道它为什么拒了一个客户。这套基于 Hadoop 和 Spark 的大数据金融信贷风险控制系统源码解决的正是这类问题它把数据摄入、清洗、特征加工、模型训练、风险评分到前端展示串成了一条完整链路让你能在一个工程里看到信贷风控从离线批处理到实时流分析的全貌。它适合三类人一是做大数据课程设计或毕业设计的学生需要一套结构完整、能跑通、能讲清楚技术栈的项目二是刚转大数据方向的开发者想找一个真实业务场景把 HDFS、Spark SQL、Spark Streaming 串起来练手三是金融科技团队的技术选型参考看看一套风控系统的最小可用架构长什么样。源码包里包含credit-risk-control后端模块、>!-- 父 pom 中需要关注的依赖坐标 -- properties spark.version2.x/spark.version hadoop.version2.x/hadoop.version scala.version2.11/scala.version /properties具体版本号以你下载到的源码为准不同分支可能不一样。GeneratorMapper.xml是 MyBatis 逆向工程配置用来从数据库表生成实体类和 Mapper 接口。如果你要改数据库连接改这个文件里的 JDBC URL 和包名。!-- GeneratorMapper.xml 关键配置片段 -- jdbcConnection driverClasscom.mysql.cj.jdbc.Driver connectionURLjdbc:mysql://localhost:3306/credit_risk?useSSLfalse userIdroot passwordyour_password /jdbcConnection javaModelGenerator targetPackagecom.credit.risk.entity targetProjectsrc/main/java/connectionURL指向你的 MySQL 实例targetPackage决定生成的实体类放在哪个包下。改完执行 Maven 的mybatis-generator:generate就能生成对应的 DAO 层代码。3. 本地跑通后端从数据库建表到 Spring Boot 启动3.1 数据库初始化与表结构确认这套系统的后端依赖 MySQL 存储业务数据。源码包里通常会有databases目录或 SQL 文件先找到建表脚本。如果没有现成的 SQL根据GeneratorMapper.xml里的表名反推至少需要这几张核心表表名用途关键字段credit_apply信贷申请记录apply_id, user_id, amount, apply_timerisk_score风险评分结果score_id, apply_id, score, risk_leveluser_info用户基本信息user_id, name, id_card, phonerule_config风控规则配置rule_id, rule_name, threshold建表时注意apply_id和user_id要建索引风控查询基本都是按这两个字段过滤。字符集用utf8mb4信贷数据里可能有生僻字。CREATE TABLE credit_apply ( apply_id BIGINT PRIMARY KEY AUTO_INCREMENT, user_id BIGINT NOT NULL, amount DECIMAL(12,2) NOT NULL, apply_time DATETIME DEFAULT CURRENT_TIMESTAMP, status TINYINT DEFAULT 0 COMMENT 0-待审核 1-通过 2-拒绝, INDEX idx_user_id (user_id), INDEX idx_apply_time (apply_time) ) ENGINEInnoDB DEFAULT CHARSETutf8mb4;status字段用 TINYINT 而不是 VARCHAR是为了后续做状态机流转时比较效率更高。amount用 DECIMAL 不用 FLOAT金融场景下浮点精度丢失是血泪教训。3.2 后端模块编译与启动参数数据库建好后回到credit-risk-control模块。先确认application.yml或application.properties里的数据源配置spring: datasource: url: jdbc:mysql://localhost:3306/credit_risk?useUnicodetruecharacterEncodingutf8 username: root password: your_password driver-class-name: com.mysql.cj.jdbc.Driver然后执行编译# 在项目根目录执行跳过测试加快编译 mvn clean package -DskipTests # 启动后端模块 java -jar credit-risk-control/target/credit-risk-control.jar如果启动报ClassNotFoundException或NoSuchMethodError大概率是 Spark 和 Hadoop 的依赖版本冲突。常见做法是在pom.xml里用exclusions排除掉 Spark 自带的 Hadoop 客户端统一用你集群的 Hadoop 版本。3.3 前端 H5 模块的本地调试h5-credit-risk-control是前端页面通常是 Vue 或 React 工程。进入目录后cd h5-credit-risk-control npm install npm run serve启动后默认访问localhost:8080接口地址在.env.development或vue.config.js的 proxy 里配置指向后端启动的端口。如果页面能打开但接口 404检查 proxy 的target是否写成了localhost:后端端口。4. Spark Streaming 实时风控数据接入、窗口计算与结果落库4.1 实时数据流的接入方式与 Kafka 配置>// Spark Streaming 消费 Kafka 的核心配置 SparkConf conf new SparkConf() .setAppName(CreditRiskStreaming) .setMaster(local[*]); // 集群模式改为 yarn JavaStreamingContext jssc new JavaStreamingContext(conf, Durations.seconds(5)); MapString, Object kafkaParams new HashMap(); kafkaParams.put(bootstrap.servers, localhost:9092); kafkaParams.put(key.deserializer, StringDeserializer.class); kafkaParams.put(value.deserializer, StringDeserializer.class); kafkaParams.put(group.id, credit-risk-group); kafkaParams.put(auto.offset.reset, latest); CollectionString topics Arrays.asList(credit-apply-topic); JavaInputDStreamConsumerRecordString, String stream KafkaUtils.createDirectStream(jssc, LocationStrategies.PreferConsistent(), ConsumerStrategies.Subscribe(topics, kafkaParams));Durations.seconds(5)是批处理间隔风控场景下建议 3 到 10 秒太短会导致频繁的小批次任务开销太长会影响实时性。auto.offset.reset设为latest表示从最新消息开始消费首次跑可以用earliest把历史消息也消费一遍。4.2 窗口计算与风险评分逻辑拿到数据流后下一步是做窗口聚合。信贷风控里常见的实时指标是“同一用户 5 分钟内申请次数”和“同一 IP 10 分钟内关联申请数”。// 按用户 ID 做 5 分钟窗口聚合统计申请次数 JavaPairDStreamString, Integer userApplyCount stream .mapToPair(record - new Tuple2(extractUserId(record.value()), 1)) .reduceByKeyAndWindow( (Integer a, Integer b) - a b, // 窗口内累加 (Integer a, Integer b) - a - b, // 窗口滑动时减去离开的数据 Durations.minutes(5), // 窗口长度 Durations.seconds(10) // 滑动间隔 ); // 对申请次数超过阈值的用户打高风险标签 userApplyCount.filter(tuple - tuple._2() 3) .foreachRDD(rdd - { rdd.foreachPartition(partition - { // 将高风险用户写入 MySQL 或 HBase writeToRiskTable(partition); }); });reduceByKeyAndWindow的第三个参数是窗口长度第四个是滑动间隔。滑动间隔必须是批处理间隔的整数倍否则会报错。foreachRDD里用foreachPartition而不是foreach是为了每个分区复用一个数据库连接避免每条记录都建连。4.3 结果落库与离线批处理的衔接实时计算出的风险标签需要落库供后端查询。常见做法是写入 MySQL 的risk_score表或者写入 HBase 供更复杂的查询。如果数据量很大建议先写 HDFS 再批量导入避免 Spark Streaming 直接高频写 MySQL 造成压力。离线批处理部分晚上用 Spark SQL 跑全量历史数据更新风险模型参数。这部分代码通常在credit-risk-control模块的定时任务里用Scheduled注解触发。// 离线批处理用 Spark SQL 跑全量评分 SparkSession spark SparkSession.builder() .appName(CreditRiskBatch) .config(spark.sql.warehouse.dir, /user/hive/warehouse) .enableHiveSupport() .getOrCreate(); DatasetRow historyData spark.sql( SELECT user_id, amount, apply_time FROM credit_apply WHERE dt yesterday); // 后续接 MLlib 模型做批量预测enableHiveSupport()让 Spark 能直接读 Hive 表如果你们的元数据存在 MySQL 里需要把hive-site.xml放到resources目录下。5. 避坑与排查这套源码跑不起来时先查这五处5.1 现象Maven 编译报 Spark 与 Scala 版本不匹配原因pom.xml里 Spark 依赖的 Scala 版本和本地安装的 Scala 版本不一致。Spark 2.x 通常对应 Scala 2.11Spark 3.x 对应 Scala 2.12。解决在pom.xml里显式声明scala.version和spark.version确保两者匹配。如果本地没装 ScalaMaven 会自动下载依赖里的 Scala 库不用单独安装。5.2 现象Spark Streaming 启动后报NoSuchMethodError或ClassNotFoundException原因Hadoop 和 Spark 的依赖冲突。Spark 自带了 Hadoop 客户端和你集群的 Hadoop 版本不一致时就会报这个。解决在pom.xml的 Spark 依赖里排除掉hadoop-client然后单独引入你集群版本的 Hadoop 依赖。dependency groupIdorg.apache.spark/groupId artifactIdspark-core_2.11/artifactId version2.4.x/version exclusions exclusion groupIdorg.apache.hadoop/groupId artifactIdhadoop-client/artifactId /exclusion /exclusions /dependency5.3 现象前端页面能打开但接口全部 404原因前端 proxy 配置的后端地址不对或者后端没启动。解决检查vue.config.js或.env.development里的VUE_APP_BASE_API是否指向后端实际端口。后端启动后先用curl localhost:后端端口/actuator/health确认服务活着。5.4 现象MySQL 连接报Public Key Retrieval is not allowed原因MySQL 8.x 默认的认证插件是caching_sha2_passwordJDBC 连接需要显式允许公钥检索。解决在 JDBC URL 后面加allowPublicKeyRetrievaltrueuseSSLfalse。5.5 现象Spark 任务在本地模式能跑提交到 YARN 就失败原因本地模式用的是本地文件路径YARN 模式需要 HDFS 路径。代码里如果写了file:///开头的路径到集群上就找不到文件。解决把输入输出路径改成 HDFS 路径如hdfs://namenode:8020/user/data/credit。提交任务时用--master yarn --deploy-mode cluster并确保HADOOP_CONF_DIR环境变量指向集群配置目录。6. 进阶用法用 Spark MLlib 替换规则引擎做违约概率预测规则引擎跑通之后下一步自然是想上模型。这套源码里预留了 MLlib 的依赖但默认可能只跑了逻辑回归的示例。我一般会先做特征工程把原始字段转成模型能吃的向量。// 用 Spark MLlib 做逻辑回归违约预测 VectorAssembler assembler new VectorAssembler() .setInputCols(new String[]{amount, apply_hour, user_age, history_overdue}) .setOutputCol(features); LogisticRegression lr new LogisticRegression() .setMaxIter(100) .setRegParam(0.01) .setElasticNetParam(0.8); Pipeline pipeline new Pipeline().setStages(new PipelineStage[]{assembler, lr}); PipelineModel model pipeline.fit(trainData); // 预测并输出违约概率 DatasetRow predictions model.transform(testData); predictions.select(user_id, probability, prediction).show();setRegParam(0.01)是正则化系数防止过拟合。setElasticNetParam(0.8)表示 80% L1 正则加 20% L2 正则L1 能筛掉不重要的特征适合信贷场景里特征维度高但有效特征少的情况。验证模型效果不能只看准确率。信贷数据是不平衡的违约样本通常只占 5% 到 10%准确率 95% 的模型可能把所有样本都预测成“不违约”。要看 AUC 和 KSBinaryClassificationEvaluator evaluator new BinaryClassificationEvaluator() .setLabelCol(label) .setRawPredictionCol(rawPrediction) .setMetricName(areaUnderROC); double auc evaluator.evaluate(predictions); System.out.println(AUC auc);AUC 低于 0.7 的模型基本不能用0.75 以上算及格0.8 以上在信贷场景里算不错。KS 值一般要求大于 0.3。从那以后我每次拿到一套风控源码都强制先跑一遍数据质量检查看缺失率、看异常值、看标签分布再谈模型。这套源码的价值不在于它直接能上线而在于它把 Hadoop 存储、Spark 计算、实时流处理和前端展示串成了一条能跑通的链路你可以在上面改规则、换模型、加特征省掉从零搭架子的大把时间。希望帮到你。本文还有配套的精品资源点击获取 Hadoop+Spark信贷风控系统源码解析：从实时流处理到MLlib模型实战
简介这份资源是面向大数据与金融风控方向开发者、学生及求职者的完整项目源码聚焦如何用Hadoop与Spark搭建信贷风险评估与管理系统解决海量借贷数据存储、实时评分与批量建模的问题。压缩包共69个文件约72KB以36个Java与8个Scala文件承载核心业务与计算逻辑12个XML及5个properties负责配置与依赖管理另含SQL建表脚本、前端JS页面和说明文档覆盖数据摄入、预处理、模型训练到风险评估的完整链路。项目结合Hadoop批量处理历史数据与Spark实时分析借贷申请涉及逻辑回归、决策树、随机森林等算法并包含数据集成、安全隐私与监控运维等模块。目前已有1219人学习下载适合希望深入理解大数据技术在金融信贷风控中落地实践的读者参考与二次开发。1. 拿到一套信贷风控源码先别急着跑这套 HadoopSpark 项目到底能解决什么信贷风控这个场景最怕的不是没数据而是数据散在十几个系统里、跑一次评分要等半天、模型上线后没人知道它为什么拒了一个客户。这套基于 Hadoop 和 Spark 的大数据金融信贷风险控制系统源码解决的正是这类问题它把数据摄入、清洗、特征加工、模型训练、风险评分到前端展示串成了一条完整链路让你能在一个工程里看到信贷风控从离线批处理到实时流分析的全貌。它适合三类人一是做大数据课程设计或毕业设计的学生需要一套结构完整、能跑通、能讲清楚技术栈的项目二是刚转大数据方向的开发者想找一个真实业务场景把 HDFS、Spark SQL、Spark Streaming 串起来练手三是金融科技团队的技术选型参考看看一套风控系统的最小可用架构长什么样。源码包里包含credit-risk-control后端模块、>!-- 父 pom 中需要关注的依赖坐标 -- properties spark.version2.x/spark.version hadoop.version2.x/hadoop.version scala.version2.11/scala.version /properties具体版本号以你下载到的源码为准不同分支可能不一样。GeneratorMapper.xml是 MyBatis 逆向工程配置用来从数据库表生成实体类和 Mapper 接口。如果你要改数据库连接改这个文件里的 JDBC URL 和包名。!-- GeneratorMapper.xml 关键配置片段 -- jdbcConnection driverClasscom.mysql.cj.jdbc.Driver connectionURLjdbc:mysql://localhost:3306/credit_risk?useSSLfalse userIdroot passwordyour_password /jdbcConnection javaModelGenerator targetPackagecom.credit.risk.entity targetProjectsrc/main/java/connectionURL指向你的 MySQL 实例targetPackage决定生成的实体类放在哪个包下。改完执行 Maven 的mybatis-generator:generate就能生成对应的 DAO 层代码。3. 本地跑通后端从数据库建表到 Spring Boot 启动3.1 数据库初始化与表结构确认这套系统的后端依赖 MySQL 存储业务数据。源码包里通常会有databases目录或 SQL 文件先找到建表脚本。如果没有现成的 SQL根据GeneratorMapper.xml里的表名反推至少需要这几张核心表表名用途关键字段credit_apply信贷申请记录apply_id, user_id, amount, apply_timerisk_score风险评分结果score_id, apply_id, score, risk_leveluser_info用户基本信息user_id, name, id_card, phonerule_config风控规则配置rule_id, rule_name, threshold建表时注意apply_id和user_id要建索引风控查询基本都是按这两个字段过滤。字符集用utf8mb4信贷数据里可能有生僻字。CREATE TABLE credit_apply ( apply_id BIGINT PRIMARY KEY AUTO_INCREMENT, user_id BIGINT NOT NULL, amount DECIMAL(12,2) NOT NULL, apply_time DATETIME DEFAULT CURRENT_TIMESTAMP, status TINYINT DEFAULT 0 COMMENT 0-待审核 1-通过 2-拒绝, INDEX idx_user_id (user_id), INDEX idx_apply_time (apply_time) ) ENGINEInnoDB DEFAULT CHARSETutf8mb4;status字段用 TINYINT 而不是 VARCHAR是为了后续做状态机流转时比较效率更高。amount用 DECIMAL 不用 FLOAT金融场景下浮点精度丢失是血泪教训。3.2 后端模块编译与启动参数数据库建好后回到credit-risk-control模块。先确认application.yml或application.properties里的数据源配置spring: datasource: url: jdbc:mysql://localhost:3306/credit_risk?useUnicodetruecharacterEncodingutf8 username: root password: your_password driver-class-name: com.mysql.cj.jdbc.Driver然后执行编译# 在项目根目录执行跳过测试加快编译 mvn clean package -DskipTests # 启动后端模块 java -jar credit-risk-control/target/credit-risk-control.jar如果启动报ClassNotFoundException或NoSuchMethodError大概率是 Spark 和 Hadoop 的依赖版本冲突。常见做法是在pom.xml里用exclusions排除掉 Spark 自带的 Hadoop 客户端统一用你集群的 Hadoop 版本。3.3 前端 H5 模块的本地调试h5-credit-risk-control是前端页面通常是 Vue 或 React 工程。进入目录后cd h5-credit-risk-control npm install npm run serve启动后默认访问localhost:8080接口地址在.env.development或vue.config.js的 proxy 里配置指向后端启动的端口。如果页面能打开但接口 404检查 proxy 的target是否写成了localhost:后端端口。4. Spark Streaming 实时风控数据接入、窗口计算与结果落库4.1 实时数据流的接入方式与 Kafka 配置>// Spark Streaming 消费 Kafka 的核心配置 SparkConf conf new SparkConf() .setAppName(CreditRiskStreaming) .setMaster(local[*]); // 集群模式改为 yarn JavaStreamingContext jssc new JavaStreamingContext(conf, Durations.seconds(5)); MapString, Object kafkaParams new HashMap(); kafkaParams.put(bootstrap.servers, localhost:9092); kafkaParams.put(key.deserializer, StringDeserializer.class); kafkaParams.put(value.deserializer, StringDeserializer.class); kafkaParams.put(group.id, credit-risk-group); kafkaParams.put(auto.offset.reset, latest); CollectionString topics Arrays.asList(credit-apply-topic); JavaInputDStreamConsumerRecordString, String stream KafkaUtils.createDirectStream(jssc, LocationStrategies.PreferConsistent(), ConsumerStrategies.Subscribe(topics, kafkaParams));Durations.seconds(5)是批处理间隔风控场景下建议 3 到 10 秒太短会导致频繁的小批次任务开销太长会影响实时性。auto.offset.reset设为latest表示从最新消息开始消费首次跑可以用earliest把历史消息也消费一遍。4.2 窗口计算与风险评分逻辑拿到数据流后下一步是做窗口聚合。信贷风控里常见的实时指标是“同一用户 5 分钟内申请次数”和“同一 IP 10 分钟内关联申请数”。// 按用户 ID 做 5 分钟窗口聚合统计申请次数 JavaPairDStreamString, Integer userApplyCount stream .mapToPair(record - new Tuple2(extractUserId(record.value()), 1)) .reduceByKeyAndWindow( (Integer a, Integer b) - a b, // 窗口内累加 (Integer a, Integer b) - a - b, // 窗口滑动时减去离开的数据 Durations.minutes(5), // 窗口长度 Durations.seconds(10) // 滑动间隔 ); // 对申请次数超过阈值的用户打高风险标签 userApplyCount.filter(tuple - tuple._2() 3) .foreachRDD(rdd - { rdd.foreachPartition(partition - { // 将高风险用户写入 MySQL 或 HBase writeToRiskTable(partition); }); });reduceByKeyAndWindow的第三个参数是窗口长度第四个是滑动间隔。滑动间隔必须是批处理间隔的整数倍否则会报错。foreachRDD里用foreachPartition而不是foreach是为了每个分区复用一个数据库连接避免每条记录都建连。4.3 结果落库与离线批处理的衔接实时计算出的风险标签需要落库供后端查询。常见做法是写入 MySQL 的risk_score表或者写入 HBase 供更复杂的查询。如果数据量很大建议先写 HDFS 再批量导入避免 Spark Streaming 直接高频写 MySQL 造成压力。离线批处理部分晚上用 Spark SQL 跑全量历史数据更新风险模型参数。这部分代码通常在credit-risk-control模块的定时任务里用Scheduled注解触发。// 离线批处理用 Spark SQL 跑全量评分 SparkSession spark SparkSession.builder() .appName(CreditRiskBatch) .config(spark.sql.warehouse.dir, /user/hive/warehouse) .enableHiveSupport() .getOrCreate(); DatasetRow historyData spark.sql( SELECT user_id, amount, apply_time FROM credit_apply WHERE dt yesterday); // 后续接 MLlib 模型做批量预测enableHiveSupport()让 Spark 能直接读 Hive 表如果你们的元数据存在 MySQL 里需要把hive-site.xml放到resources目录下。5. 避坑与排查这套源码跑不起来时先查这五处5.1 现象Maven 编译报 Spark 与 Scala 版本不匹配原因pom.xml里 Spark 依赖的 Scala 版本和本地安装的 Scala 版本不一致。Spark 2.x 通常对应 Scala 2.11Spark 3.x 对应 Scala 2.12。解决在pom.xml里显式声明scala.version和spark.version确保两者匹配。如果本地没装 ScalaMaven 会自动下载依赖里的 Scala 库不用单独安装。5.2 现象Spark Streaming 启动后报NoSuchMethodError或ClassNotFoundException原因Hadoop 和 Spark 的依赖冲突。Spark 自带了 Hadoop 客户端和你集群的 Hadoop 版本不一致时就会报这个。解决在pom.xml的 Spark 依赖里排除掉hadoop-client然后单独引入你集群版本的 Hadoop 依赖。dependency groupIdorg.apache.spark/groupId artifactIdspark-core_2.11/artifactId version2.4.x/version exclusions exclusion groupIdorg.apache.hadoop/groupId artifactIdhadoop-client/artifactId /exclusion /exclusions /dependency5.3 现象前端页面能打开但接口全部 404原因前端 proxy 配置的后端地址不对或者后端没启动。解决检查vue.config.js或.env.development里的VUE_APP_BASE_API是否指向后端实际端口。后端启动后先用curl localhost:后端端口/actuator/health确认服务活着。5.4 现象MySQL 连接报Public Key Retrieval is not allowed原因MySQL 8.x 默认的认证插件是caching_sha2_passwordJDBC 连接需要显式允许公钥检索。解决在 JDBC URL 后面加allowPublicKeyRetrievaltrueuseSSLfalse。5.5 现象Spark 任务在本地模式能跑提交到 YARN 就失败原因本地模式用的是本地文件路径YARN 模式需要 HDFS 路径。代码里如果写了file:///开头的路径到集群上就找不到文件。解决把输入输出路径改成 HDFS 路径如hdfs://namenode:8020/user/data/credit。提交任务时用--master yarn --deploy-mode cluster并确保HADOOP_CONF_DIR环境变量指向集群配置目录。6. 进阶用法用 Spark MLlib 替换规则引擎做违约概率预测规则引擎跑通之后下一步自然是想上模型。这套源码里预留了 MLlib 的依赖但默认可能只跑了逻辑回归的示例。我一般会先做特征工程把原始字段转成模型能吃的向量。// 用 Spark MLlib 做逻辑回归违约预测 VectorAssembler assembler new VectorAssembler() .setInputCols(new String[]{amount, apply_hour, user_age, history_overdue}) .setOutputCol(features); LogisticRegression lr new LogisticRegression() .setMaxIter(100) .setRegParam(0.01) .setElasticNetParam(0.8); Pipeline pipeline new Pipeline().setStages(new PipelineStage[]{assembler, lr}); PipelineModel model pipeline.fit(trainData); // 预测并输出违约概率 DatasetRow predictions model.transform(testData); predictions.select(user_id, probability, prediction).show();setRegParam(0.01)是正则化系数防止过拟合。setElasticNetParam(0.8)表示 80% L1 正则加 20% L2 正则L1 能筛掉不重要的特征适合信贷场景里特征维度高但有效特征少的情况。验证模型效果不能只看准确率。信贷数据是不平衡的违约样本通常只占 5% 到 10%准确率 95% 的模型可能把所有样本都预测成“不违约”。要看 AUC 和 KSBinaryClassificationEvaluator evaluator new BinaryClassificationEvaluator() .setLabelCol(label) .setRawPredictionCol(rawPrediction) .setMetricName(areaUnderROC); double auc evaluator.evaluate(predictions); System.out.println(AUC auc);AUC 低于 0.7 的模型基本不能用0.75 以上算及格0.8 以上在信贷场景里算不错。KS 值一般要求大于 0.3。从那以后我每次拿到一套风控源码都强制先跑一遍数据质量检查看缺失率、看异常值、看标签分布再谈模型。这套源码的价值不在于它直接能上线而在于它把 Hadoop 存储、Spark 计算、实时流处理和前端展示串成了一条能跑通的链路你可以在上面改规则、换模型、加特征省掉从零搭架子的大把时间。希望帮到你。本文还有配套的精品资源点击获取