尧图网站建设 
简介这份资源是机器学习期末大作业的六次项目合集面向高校学生、课程设计者及需要快速完成高分作业的自学者覆盖从基础算法到综合实验的完整训练链路。包内包含基于KNN的手写数字识别、回归模型、参数估计与非参数估计、朴素贝叶斯分类器、层次聚类、决策树分类器六个独立项目每个项目均配有源码与实验报告代码附有注释新手也能读懂并直接部署运行。压缩包共340个文件以109个py源码、107个png结果图、22个csv数据集、13个pdf报告及若干ipynb、r、md文档为主整体约63.56MB目录按项目分模块组织便于检索与复用。已有84人学习下载。读者可获得六套可直接运行的算法实现、配套实验报告与数据文件既能作为课程设计模板也适合对照复现、理解参数估计与聚类分类等核心知识点节省从零搭建的时间成本。1. 六份机器学习大作业拆包从 KNN 到决策树一套能跑通的课程设计底稿期末周前两周实验室里最常见的一幕是选题定了环境装好了打开编辑器却不知道第一个函数该写什么。这份「机器学习期末大作业-六次大作业合集」正好卡在这个痛点上——它不是单个 demo而是把课程设计里最高频的六个方向打包在一起KNN 手写数字识别、回归模型、参数估计与非参数估计、朴素贝叶斯分类器、层次聚类、决策树分类器。每个方向都配了源码和实验报告代码里带注释数据文件也一并给了像semeion_train.csv、semeion_test.csv、test_truedata.csv这些命名一看就知道是训练/测试/真值三件套。适合谁正在赶机器学习期末大作业、课程设计或者想拿一套完整流程对照着自己实现一遍的人。新手能顺着注释读懂每一步熟手能直接拿它当 baseline 改参数、换数据、做对比实验。2. 环境与数据先对齐六份作业共用的目录结构和依赖清单2.1 拆包后先看什么目录映射与数据文件对应关系拿到压缩包别急着pip install先把目录结构看清楚。六份作业虽然算法不同但组织方式高度一致每份一个文件夹里面通常有code/或直接是.py文件、report/实验报告文档、data/或数据文件散在根目录。从项目正文给出的文件名能反推出数据流data.csv出现多次说明多份作业共用同一份原始数据或各自有一份同名数据result.csv是输出结果semeion_train.csv和semeion_test.csv是手写数字识别的标准 Semeion 数据集划分test_truedata.csv大概率是测试集的真实标签用来算准确率。我一般会先跑一条命令把结构打出来# 查看压缩包内文件列表不急着解压 unzip -l 机器学习期末大作业-六次大作业合集代码实验报告满分项目.zip # 解压后进入目录看两层结构 find . -maxdepth 2 -type d | sort find . -maxdepth 2 -name *.csv | sort逻辑说明unzip -l先确认压缩包没损坏、文件数量对得上find两层足够看清每份作业的文件夹和公共数据文件位置。参数上-maxdepth 2是防止目录太深刷屏-name *.csv专门定位数据文件。如果发现某个作业文件夹里没有数据文件大概率是共用根目录下的data.csv这时候要在代码里把相对路径改成../data.csv或绝对路径。2.2 依赖安装别一把梭按作业分环境六份作业的技术栈以 Python 为主常见依赖是numpy、pandas、scikit-learn、matplotlib手写数字识别可能用到PIL或opencv-python读图。我建议不要全局装用 venv 隔离# 创建虚拟环境 python -m venv ml_hw_env source ml_hw_env/bin/activate # Windows 用 ml_hw_env\Scripts\activate # 基础四件套 pip install numpy pandas scikit-learn matplotlib # 如果 KNN 作业要读图片补一个 pip install pillow逻辑说明venv隔离是为了避免和系统里已有的包版本打架尤其是scikit-learn不同版本对KMeans、DecisionTreeClassifier的默认参数有差异。参数上numpy和pandas负责数据读写scikit-learn提供 KNN、朴素贝叶斯、决策树、层次聚类的实现matplotlib画图。如果某份作业的代码里import了seaborn或scipy再单独补装不要提前堆一堆用不上的包。提示先跑一份作业的代码报ModuleNotFoundError再装对应包比一次性装几十个包更省时间也更容易定位版本冲突。3. KNN 手写数字识别与回归模型两个最容易被低估的 baseline3.1 KNN 手写数字识别距离度量与 k 值怎么定KNN 这份作业的核心不是「会调KNeighborsClassifier」而是理解为什么手写数字识别适合用 KNN 做 baseline。Semeion 数据集里每个样本是 16x16 的灰度图展平成 256 维向量KNN 直接算向量间的欧氏距离不需要训练过程天然适合小规模数据。但坑也在这里256 维空间里距离会变得稀疏k 值取太小对噪声敏感取太大又把不同类混在一起。我一般会先写一个 k 值扫描脚本而不是拍脑袋定 k3import pandas as pd from sklearn.neighbors import KNeighborsClassifier from sklearn.metrics import accuracy_score # 读取 Semeion 训练集和测试集 train pd.read_csv(semeion_train.csv, headerNone) test pd.read_csv(semeion_test.csv, headerNone) # 最后一列是标签前面是 256 维特征 X_train, y_train train.iloc[:, :-1].values, train.iloc[:, -1].values X_test, y_test test.iloc[:, :-1].values, test.iloc[:, -1].values # 扫描 k 从 1 到 15 for k in range(1, 16): clf KNeighborsClassifier(n_neighborsk, metriceuclidean) clf.fit(X_train, y_train) acc accuracy_score(y_test, clf.predict(X_test)) print(fk{k:2d} accuracy{acc:.4f})逻辑说明iloc[:, :-1]取所有行、除最后一列外的特征iloc[:, -1]取标签列。metriceuclidean是默认值但显式写出来方便后面换成manhattan做对比。参数上n_neighbors就是 k扫描范围 1 到 15 是经验值手写数字这种类别数不多通常 10 类的任务k 超过 15 意义不大。跑完看准确率曲线选拐点附近的 k而不是选最高点——最高点可能是过拟合到测试集了。实验报告里通常会要求画混淆矩阵用sklearn.metrics.confusion_matrix加matplotlib的imshow就能出图。注意test_truedata.csv如果和semeion_test.csv的标签列重复以代码里实际读取的为准别两份都读进来导致维度对不上。3.2 回归模型特征标准化和残差检查不能省回归这份作业的数据大概率是data.csv输出result.csv。回归最容易翻车的地方不是模型选错而是特征没标准化就直接扔进线性回归导致系数解释不了、梯度下降震荡。我一般会先做描述性统计import pandas as pd import numpy as np from sklearn.linear_model import LinearRegression from sklearn.preprocessing import StandardScaler from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error, r2_score df pd.read_csv(data.csv) # 假设最后一列是目标变量前面是特征 X df.iloc[:, :-1].values y df.iloc[:, -1].values # 划分训练测试集random_state 固定保证可复现 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) # 标准化fit 只在训练集上做避免数据泄露 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_test_scaled scaler.transform(X_test) model LinearRegression() model.fit(X_train_scaled, y_train) y_pred model.predict(X_test_scaled) print(MSE:, mean_squared_error(y_test, y_pred)) print(R2 :, r2_score(y_test, y_pred))逻辑说明train_test_split的random_state42是为了每次跑结果一致实验报告里写「随机划分」但结果对不上就很尴尬。StandardScaler的fit_transform只用在训练集测试集用transform这是防数据泄露的标准做法。参数上test_size0.2是常见划分比例数据量小可以调到 0.3。跑完别只看 R2把残差画出来看看有没有喇叭口形状有的话说明异方差得考虑对数变换或换模型。注意如果data.csv里有缺失值LinearRegression会直接报错。先df.isnull().sum()看一眼用fillna或dropna处理掉再进模型。4. 参数估计、朴素贝叶斯与层次聚类三份作业的数学底子怎么落到代码4.1 参数估计与非参数估计从直方图到核密度这份作业偏统计代码量不大但实验报告要求高。参数估计通常是假设数据服从正态分布用样本均值和方差去估计总体参数非参数估计则是核密度估计KDE或直方图法不预设分布形式。我一般会先画直方图叠加正态曲线直观对比import pandas as pd import numpy as np import matplotlib.pyplot as plt from scipy import stats df pd.read_csv(data.csv) # 假设对第一列做估计 sample df.iloc[:, 0].dropna().values # 参数估计矩估计 mu_hat np.mean(sample) sigma_hat np.std(sample, ddof1) # ddof1 是无偏估计 print(f矩估计: mu{mu_hat:.4f}, sigma{sigma_hat:.4f}) # 非参数估计核密度 kde stats.gaussian_kde(sample) x_grid np.linspace(sample.min(), sample.max(), 200) plt.hist(sample, bins30, densityTrue, alpha0.5, labelHistogram) plt.plot(x_grid, stats.norm.pdf(x_grid, mu_hat, sigma_hat), labelNormal fit) plt.plot(x_grid, kde(x_grid), labelKDE) plt.legend() plt.savefig(estimation_compare.png, dpi150)逻辑说明ddof1是样本标准差的无偏估计np.std默认ddof0是有偏的实验报告里如果写「无偏估计」但代码用默认值答辩时容易被追问。gaussian_kde的带宽参数bw_method默认是 Scott 规则数据分布偏斜时可以手动调小。参数上bins30是直方图箱数数据量过千可以适当增加。这份作业的result.csv大概率是估计出来的参数值或密度值保存时注意列名和报告里的表格对应。4.2 朴素贝叶斯分类器拉普拉斯平滑与先验概率朴素贝叶斯的核心假设是特征条件独立代码实现简单但实验报告要解释清楚为什么这个假设在文本或离散特征上还能 work。sklearn的GaussianNB、MultinomialNB、BernoulliNB对应不同数据分布选错类型准确率会差很多。我一般先判断特征类型连续值用GaussianNB计数特征用MultinomialNB二值特征用BernoulliNB。import pandas as pd from sklearn.naive_bayes import GaussianNB from sklearn.model_selection import cross_val_score df pd.read_csv(data.csv) X df.iloc[:, :-1].values y df.iloc[:, -1].values # 高斯朴素贝叶斯适合连续特征 gnb GaussianNB() scores cross_val_score(gnb, X, y, cv5, scoringaccuracy) print(5折交叉验证准确率:, scores.mean()) # 如果特征是计数换成 MultinomialNB # from sklearn.naive_bayes import MultinomialNB # mnb MultinomialNB(alpha1.0) # alpha 是拉普拉斯平滑逻辑说明cross_val_score的cv5是五折交叉验证比单次划分更稳。GaussianNB没有平滑参数MultinomialNB的alpha1.0就是拉普拉斯平滑防止某个特征在训练集里没出现导致概率为零。参数上如果数据里有负值MultinomialNB会报错必须换GaussianNB或先做非负变换。实验报告里要写清楚先验概率是均匀先验还是根据类别频率计算sklearn默认用类别频率作为先验。4.3 层次聚类距离矩阵与树状图剪枝层次聚类这份作业的看点是树状图dendrogram和剪枝。scipy.cluster.hierarchy比sklearn的AgglomerativeClustering更适合画树状图。关键参数是linkage方法single、complete、average、ward不同方法对簇的形状敏感度不同。import pandas as pd import numpy as np import matplotlib.pyplot as plt from scipy.cluster.hierarchy import linkage, dendrogram, fcluster from scipy.spatial.distance import pdist df pd.read_csv(data.csv) X df.values # 假设全是特征没有标签列 # 计算距离矩阵并做层次聚类 Z linkage(X, methodward, metriceuclidean) # 画树状图 plt.figure(figsize(10, 6)) dendrogram(Z, truncate_modelastp, p20) plt.savefig(dendrogram.png, dpi150) # 按距离阈值剪枝得到簇标签 clusters fcluster(Z, t3, criterionmaxclust) print(簇标签分布:, np.bincount(clusters))逻辑说明pdist在linkage内部调用不用手动算。methodward最小化簇内方差适合欧氏距离如果数据有离群点average更稳。truncate_modelastp和p20是让树状图只显示最后 20 个合并节点否则样本一多图就糊了。fcluster的t3是想要 3 个簇criterionmaxclust表示按最大簇数剪枝。参数上t可以换成距离阈值配合criteriondistance使用。实验报告里要对比不同linkage方法的树状图差异这是得分点。5. 决策树分类器剪枝、特征重要性与可视化5.1 决策树为什么容易过拟合预剪枝和后剪枝决策树这份作业的代码可能是六份里最短的但实验报告要解释清楚过拟合。不加限制的决策树会把每个样本都分到叶子节点训练集准确率 100%测试集惨不忍睹。sklearn的DecisionTreeClassifier提供max_depth、min_samples_split、min_samples_leaf、max_leaf_nodes等预剪枝参数后剪枝用ccp_alpha做代价复杂度剪枝。import pandas as pd from sklearn.tree import DecisionTreeClassifier, plot_tree from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score import matplotlib.pyplot as plt df pd.read_csv(data.csv) X df.iloc[:, :-1].values y df.iloc[:, -1].values X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) # 不剪枝 tree_full DecisionTreeClassifier(random_state42) tree_full.fit(X_train, y_train) print(不剪枝 训练集:, accuracy_score(y_train, tree_full.predict(X_train))) print(不剪枝 测试集:, accuracy_score(y_test, tree_full.predict(X_test))) # 预剪枝限制深度和叶子节点最小样本数 tree_pruned DecisionTreeClassifier( max_depth5, min_samples_leaf5, random_state42 ) tree_pruned.fit(X_train, y_train) print(预剪枝 训练集:, accuracy_score(y_train, tree_pruned.predict(X_train))) print(预剪枝 测试集:, accuracy_score(y_test, tree_pruned.predict(X_test))) # 可视化剪枝后的树 plt.figure(figsize(15, 8)) plot_tree(tree_pruned, filledTrue, feature_names[ff{i} for i in range(X.shape[1])]) plt.savefig(tree_pruned.png, dpi150)逻辑说明random_state42保证每次划分一致。max_depth5和min_samples_leaf5是经验起点数据量大可以放宽。plot_tree的filledTrue按类别纯度上色feature_names如果原始数据有列名就直接用df.columns[:-1]。参数上ccp_alpha后剪枝需要先用cost_complexity_pruning_path拿到 alpha 序列再交叉验证选最优代码稍长但实验报告里是加分项。5.2 特征重要性别只看数值要看排序稳定性feature_importances_属性给出每个特征的重要性但单次划分的排序可能不稳定。我一般会跑多次不同random_state看重要性排序是否一致import numpy as np from sklearn.tree import DecisionTreeClassifier importances [] for seed in range(10): tree DecisionTreeClassifier(max_depth5, random_stateseed) tree.fit(X_train, y_train) importances.append(tree.feature_importances_) importances np.array(importances) mean_imp importances.mean(axis0) std_imp importances.std(axis0) # 按均值排序输出 idx np.argsort(mean_imp)[::-1] for i in idx[:10]: print(f特征 {i}: {mean_imp[i]:.4f} ± {std_imp[i]:.4f})逻辑说明跑 10 个不同随机种子mean_imp是平均重要性std_imp是波动。如果某个特征均值高但标准差也大说明它的重要性不稳定实验报告里不能只写「特征 X 最重要」。参数上range(10)可以加到 20 或 30但数据量大时耗时线性增长。argsort加[::-1]是降序排列取前 10 个输出。6. 避坑与排查六份作业跑不通时先查这五处6.1 路径问题相对路径和绝对路径混用现象代码在 PyCharm 里跑得通命令行python xxx.py就报FileNotFoundError。原因IDE 的工作目录默认是项目根目录命令行是你当前所在目录pd.read_csv(data.csv)找的是不同位置。解决统一用os.path.dirname(__file__)拼绝对路径或者cd到代码所在目录再跑。import os import pandas as pd base os.path.dirname(os.path.abspath(__file__)) df pd.read_csv(os.path.join(base, data.csv))6.2 编码问题中文列名或 BOM 头导致读取出错现象pd.read_csv报UnicodeDecodeError或者第一列列名前面多个\ufeff。原因CSV 文件是 GBK 编码或带 BOM 的 UTF-8。解决先试encodingutf-8-sig不行再试encodinggbk。参数上utf-8-sig专门处理 BOM 头比utf-8多一步剥离。6.3 标签列位置最后一列不一定是标签现象模型准确率极低或者回归 R2 是负数。原因data.csv的标签列可能不在最后一列或者中间有 ID 列。解决先df.head()和df.columns看一眼确认特征和标签的边界。如果列名有label、target、class之类的词直接按列名取别用iloc。6.4 随机种子不固定导致结果无法复现现象实验报告里写准确率 0.92答辩时跑出来 0.88。原因train_test_split或模型初始化没固定random_state。解决所有涉及随机的步骤都加random_state42包括train_test_split、DecisionTreeClassifier、KMeans层次聚类不涉及。参数上42 是习惯用法用别的数字也行关键是全篇统一。6.5 版本差异sklearn 旧版本参数名变了现象代码里写sklearn.cross_validation报ModuleNotFoundError。原因旧版sklearn的模块在新版里改名了cross_validation变成model_selection。解决看报错信息里的模块名对照sklearn官方迁移文档改。常见改动还有sklearn.preprocessing.Imputer变成SimpleImputersklearn.grid_search变成model_selection.GridSearchCV。提示如果六份作业里某一份的代码明显是旧版写的别硬改先pip install scikit-learn0.24之类的旧版本跑通再决定要不要升级代码。7. 把六份作业串成一条线交叉验证与结果对比的进阶玩法六份作业单独跑通只是及格线真正让实验报告出彩的是把它们串起来对比。我一般会做一件事用同一份data.csv或同一批划分跑 KNN、朴素贝叶斯、决策树三个分类器用同一套交叉验证框架对比准确率和耗时。这样实验报告里就有一张横向对比表而不是六份孤立的报告。import pandas as pd import numpy as np from sklearn.model_selection import cross_val_score, StratifiedKFold from sklearn.neighbors import KNeighborsClassifier from sklearn.naive_bayes import GaussianNB from sklearn.tree import DecisionTreeClassifier import time df pd.read_csv(data.csv) X df.iloc[:, :-1].values y df.iloc[:, -1].values # 统一用分层五折保证每折类别比例一致 cv StratifiedKFold(n_splits5, shuffleTrue, random_state42) models { KNN(k5): KNeighborsClassifier(n_neighbors5), GaussianNB: GaussianNB(), DecisionTree(d5): DecisionTreeClassifier(max_depth5, random_state42), } for name, model in models.items(): t0 time.time() scores cross_val_score(model, X, y, cvcv, scoringaccuracy) elapsed time.time() - t0 print(f{name:20s} acc{scores.mean():.4f} ± {scores.std():.4f} ftime{elapsed:.2f}s)逻辑说明StratifiedKFold比普通KFold更适合分类任务因为它保证每折的类别比例和整体一致。shuffleTrue打乱顺序random_state42固定。time.time()记录总耗时注意这是五次拟合加预测的总时间不是单次。参数上n_splits5是默认值数据量小可以调到 10但耗时翻倍。跑完这张表实验报告的「模型对比」章节就有硬数据了。还有一个技巧把决策树的feature_importances_和 KNN 的错误样本重叠起来看。如果决策树认为不重要的特征恰好是 KNN 分错的样本里取值异常的特征说明这个特征可能有噪声实验报告里可以写一段「特征质量分析」。这种交叉分析不需要额外代码把两个结果print出来人工比对就行但答辩时很能体现思考深度。从那以后我每次拿到这种打包作业都强制先跑一遍find看目录、再跑一遍head看数据、最后固定random_state跑通一份再动下一份。顺序反了后面全是返工。希望帮到你。本文还有配套的精品资源点击获取 机器学习期末大作业合集：KNN、决策树等六份课程设计源码与实验报告
简介这份资源是机器学习期末大作业的六次项目合集面向高校学生、课程设计者及需要快速完成高分作业的自学者覆盖从基础算法到综合实验的完整训练链路。包内包含基于KNN的手写数字识别、回归模型、参数估计与非参数估计、朴素贝叶斯分类器、层次聚类、决策树分类器六个独立项目每个项目均配有源码与实验报告代码附有注释新手也能读懂并直接部署运行。压缩包共340个文件以109个py源码、107个png结果图、22个csv数据集、13个pdf报告及若干ipynb、r、md文档为主整体约63.56MB目录按项目分模块组织便于检索与复用。已有84人学习下载。读者可获得六套可直接运行的算法实现、配套实验报告与数据文件既能作为课程设计模板也适合对照复现、理解参数估计与聚类分类等核心知识点节省从零搭建的时间成本。1. 六份机器学习大作业拆包从 KNN 到决策树一套能跑通的课程设计底稿期末周前两周实验室里最常见的一幕是选题定了环境装好了打开编辑器却不知道第一个函数该写什么。这份「机器学习期末大作业-六次大作业合集」正好卡在这个痛点上——它不是单个 demo而是把课程设计里最高频的六个方向打包在一起KNN 手写数字识别、回归模型、参数估计与非参数估计、朴素贝叶斯分类器、层次聚类、决策树分类器。每个方向都配了源码和实验报告代码里带注释数据文件也一并给了像semeion_train.csv、semeion_test.csv、test_truedata.csv这些命名一看就知道是训练/测试/真值三件套。适合谁正在赶机器学习期末大作业、课程设计或者想拿一套完整流程对照着自己实现一遍的人。新手能顺着注释读懂每一步熟手能直接拿它当 baseline 改参数、换数据、做对比实验。2. 环境与数据先对齐六份作业共用的目录结构和依赖清单2.1 拆包后先看什么目录映射与数据文件对应关系拿到压缩包别急着pip install先把目录结构看清楚。六份作业虽然算法不同但组织方式高度一致每份一个文件夹里面通常有code/或直接是.py文件、report/实验报告文档、data/或数据文件散在根目录。从项目正文给出的文件名能反推出数据流data.csv出现多次说明多份作业共用同一份原始数据或各自有一份同名数据result.csv是输出结果semeion_train.csv和semeion_test.csv是手写数字识别的标准 Semeion 数据集划分test_truedata.csv大概率是测试集的真实标签用来算准确率。我一般会先跑一条命令把结构打出来# 查看压缩包内文件列表不急着解压 unzip -l 机器学习期末大作业-六次大作业合集代码实验报告满分项目.zip # 解压后进入目录看两层结构 find . -maxdepth 2 -type d | sort find . -maxdepth 2 -name *.csv | sort逻辑说明unzip -l先确认压缩包没损坏、文件数量对得上find两层足够看清每份作业的文件夹和公共数据文件位置。参数上-maxdepth 2是防止目录太深刷屏-name *.csv专门定位数据文件。如果发现某个作业文件夹里没有数据文件大概率是共用根目录下的data.csv这时候要在代码里把相对路径改成../data.csv或绝对路径。2.2 依赖安装别一把梭按作业分环境六份作业的技术栈以 Python 为主常见依赖是numpy、pandas、scikit-learn、matplotlib手写数字识别可能用到PIL或opencv-python读图。我建议不要全局装用 venv 隔离# 创建虚拟环境 python -m venv ml_hw_env source ml_hw_env/bin/activate # Windows 用 ml_hw_env\Scripts\activate # 基础四件套 pip install numpy pandas scikit-learn matplotlib # 如果 KNN 作业要读图片补一个 pip install pillow逻辑说明venv隔离是为了避免和系统里已有的包版本打架尤其是scikit-learn不同版本对KMeans、DecisionTreeClassifier的默认参数有差异。参数上numpy和pandas负责数据读写scikit-learn提供 KNN、朴素贝叶斯、决策树、层次聚类的实现matplotlib画图。如果某份作业的代码里import了seaborn或scipy再单独补装不要提前堆一堆用不上的包。提示先跑一份作业的代码报ModuleNotFoundError再装对应包比一次性装几十个包更省时间也更容易定位版本冲突。3. KNN 手写数字识别与回归模型两个最容易被低估的 baseline3.1 KNN 手写数字识别距离度量与 k 值怎么定KNN 这份作业的核心不是「会调KNeighborsClassifier」而是理解为什么手写数字识别适合用 KNN 做 baseline。Semeion 数据集里每个样本是 16x16 的灰度图展平成 256 维向量KNN 直接算向量间的欧氏距离不需要训练过程天然适合小规模数据。但坑也在这里256 维空间里距离会变得稀疏k 值取太小对噪声敏感取太大又把不同类混在一起。我一般会先写一个 k 值扫描脚本而不是拍脑袋定 k3import pandas as pd from sklearn.neighbors import KNeighborsClassifier from sklearn.metrics import accuracy_score # 读取 Semeion 训练集和测试集 train pd.read_csv(semeion_train.csv, headerNone) test pd.read_csv(semeion_test.csv, headerNone) # 最后一列是标签前面是 256 维特征 X_train, y_train train.iloc[:, :-1].values, train.iloc[:, -1].values X_test, y_test test.iloc[:, :-1].values, test.iloc[:, -1].values # 扫描 k 从 1 到 15 for k in range(1, 16): clf KNeighborsClassifier(n_neighborsk, metriceuclidean) clf.fit(X_train, y_train) acc accuracy_score(y_test, clf.predict(X_test)) print(fk{k:2d} accuracy{acc:.4f})逻辑说明iloc[:, :-1]取所有行、除最后一列外的特征iloc[:, -1]取标签列。metriceuclidean是默认值但显式写出来方便后面换成manhattan做对比。参数上n_neighbors就是 k扫描范围 1 到 15 是经验值手写数字这种类别数不多通常 10 类的任务k 超过 15 意义不大。跑完看准确率曲线选拐点附近的 k而不是选最高点——最高点可能是过拟合到测试集了。实验报告里通常会要求画混淆矩阵用sklearn.metrics.confusion_matrix加matplotlib的imshow就能出图。注意test_truedata.csv如果和semeion_test.csv的标签列重复以代码里实际读取的为准别两份都读进来导致维度对不上。3.2 回归模型特征标准化和残差检查不能省回归这份作业的数据大概率是data.csv输出result.csv。回归最容易翻车的地方不是模型选错而是特征没标准化就直接扔进线性回归导致系数解释不了、梯度下降震荡。我一般会先做描述性统计import pandas as pd import numpy as np from sklearn.linear_model import LinearRegression from sklearn.preprocessing import StandardScaler from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error, r2_score df pd.read_csv(data.csv) # 假设最后一列是目标变量前面是特征 X df.iloc[:, :-1].values y df.iloc[:, -1].values # 划分训练测试集random_state 固定保证可复现 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) # 标准化fit 只在训练集上做避免数据泄露 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_test_scaled scaler.transform(X_test) model LinearRegression() model.fit(X_train_scaled, y_train) y_pred model.predict(X_test_scaled) print(MSE:, mean_squared_error(y_test, y_pred)) print(R2 :, r2_score(y_test, y_pred))逻辑说明train_test_split的random_state42是为了每次跑结果一致实验报告里写「随机划分」但结果对不上就很尴尬。StandardScaler的fit_transform只用在训练集测试集用transform这是防数据泄露的标准做法。参数上test_size0.2是常见划分比例数据量小可以调到 0.3。跑完别只看 R2把残差画出来看看有没有喇叭口形状有的话说明异方差得考虑对数变换或换模型。注意如果data.csv里有缺失值LinearRegression会直接报错。先df.isnull().sum()看一眼用fillna或dropna处理掉再进模型。4. 参数估计、朴素贝叶斯与层次聚类三份作业的数学底子怎么落到代码4.1 参数估计与非参数估计从直方图到核密度这份作业偏统计代码量不大但实验报告要求高。参数估计通常是假设数据服从正态分布用样本均值和方差去估计总体参数非参数估计则是核密度估计KDE或直方图法不预设分布形式。我一般会先画直方图叠加正态曲线直观对比import pandas as pd import numpy as np import matplotlib.pyplot as plt from scipy import stats df pd.read_csv(data.csv) # 假设对第一列做估计 sample df.iloc[:, 0].dropna().values # 参数估计矩估计 mu_hat np.mean(sample) sigma_hat np.std(sample, ddof1) # ddof1 是无偏估计 print(f矩估计: mu{mu_hat:.4f}, sigma{sigma_hat:.4f}) # 非参数估计核密度 kde stats.gaussian_kde(sample) x_grid np.linspace(sample.min(), sample.max(), 200) plt.hist(sample, bins30, densityTrue, alpha0.5, labelHistogram) plt.plot(x_grid, stats.norm.pdf(x_grid, mu_hat, sigma_hat), labelNormal fit) plt.plot(x_grid, kde(x_grid), labelKDE) plt.legend() plt.savefig(estimation_compare.png, dpi150)逻辑说明ddof1是样本标准差的无偏估计np.std默认ddof0是有偏的实验报告里如果写「无偏估计」但代码用默认值答辩时容易被追问。gaussian_kde的带宽参数bw_method默认是 Scott 规则数据分布偏斜时可以手动调小。参数上bins30是直方图箱数数据量过千可以适当增加。这份作业的result.csv大概率是估计出来的参数值或密度值保存时注意列名和报告里的表格对应。4.2 朴素贝叶斯分类器拉普拉斯平滑与先验概率朴素贝叶斯的核心假设是特征条件独立代码实现简单但实验报告要解释清楚为什么这个假设在文本或离散特征上还能 work。sklearn的GaussianNB、MultinomialNB、BernoulliNB对应不同数据分布选错类型准确率会差很多。我一般先判断特征类型连续值用GaussianNB计数特征用MultinomialNB二值特征用BernoulliNB。import pandas as pd from sklearn.naive_bayes import GaussianNB from sklearn.model_selection import cross_val_score df pd.read_csv(data.csv) X df.iloc[:, :-1].values y df.iloc[:, -1].values # 高斯朴素贝叶斯适合连续特征 gnb GaussianNB() scores cross_val_score(gnb, X, y, cv5, scoringaccuracy) print(5折交叉验证准确率:, scores.mean()) # 如果特征是计数换成 MultinomialNB # from sklearn.naive_bayes import MultinomialNB # mnb MultinomialNB(alpha1.0) # alpha 是拉普拉斯平滑逻辑说明cross_val_score的cv5是五折交叉验证比单次划分更稳。GaussianNB没有平滑参数MultinomialNB的alpha1.0就是拉普拉斯平滑防止某个特征在训练集里没出现导致概率为零。参数上如果数据里有负值MultinomialNB会报错必须换GaussianNB或先做非负变换。实验报告里要写清楚先验概率是均匀先验还是根据类别频率计算sklearn默认用类别频率作为先验。4.3 层次聚类距离矩阵与树状图剪枝层次聚类这份作业的看点是树状图dendrogram和剪枝。scipy.cluster.hierarchy比sklearn的AgglomerativeClustering更适合画树状图。关键参数是linkage方法single、complete、average、ward不同方法对簇的形状敏感度不同。import pandas as pd import numpy as np import matplotlib.pyplot as plt from scipy.cluster.hierarchy import linkage, dendrogram, fcluster from scipy.spatial.distance import pdist df pd.read_csv(data.csv) X df.values # 假设全是特征没有标签列 # 计算距离矩阵并做层次聚类 Z linkage(X, methodward, metriceuclidean) # 画树状图 plt.figure(figsize(10, 6)) dendrogram(Z, truncate_modelastp, p20) plt.savefig(dendrogram.png, dpi150) # 按距离阈值剪枝得到簇标签 clusters fcluster(Z, t3, criterionmaxclust) print(簇标签分布:, np.bincount(clusters))逻辑说明pdist在linkage内部调用不用手动算。methodward最小化簇内方差适合欧氏距离如果数据有离群点average更稳。truncate_modelastp和p20是让树状图只显示最后 20 个合并节点否则样本一多图就糊了。fcluster的t3是想要 3 个簇criterionmaxclust表示按最大簇数剪枝。参数上t可以换成距离阈值配合criteriondistance使用。实验报告里要对比不同linkage方法的树状图差异这是得分点。5. 决策树分类器剪枝、特征重要性与可视化5.1 决策树为什么容易过拟合预剪枝和后剪枝决策树这份作业的代码可能是六份里最短的但实验报告要解释清楚过拟合。不加限制的决策树会把每个样本都分到叶子节点训练集准确率 100%测试集惨不忍睹。sklearn的DecisionTreeClassifier提供max_depth、min_samples_split、min_samples_leaf、max_leaf_nodes等预剪枝参数后剪枝用ccp_alpha做代价复杂度剪枝。import pandas as pd from sklearn.tree import DecisionTreeClassifier, plot_tree from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score import matplotlib.pyplot as plt df pd.read_csv(data.csv) X df.iloc[:, :-1].values y df.iloc[:, -1].values X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) # 不剪枝 tree_full DecisionTreeClassifier(random_state42) tree_full.fit(X_train, y_train) print(不剪枝 训练集:, accuracy_score(y_train, tree_full.predict(X_train))) print(不剪枝 测试集:, accuracy_score(y_test, tree_full.predict(X_test))) # 预剪枝限制深度和叶子节点最小样本数 tree_pruned DecisionTreeClassifier( max_depth5, min_samples_leaf5, random_state42 ) tree_pruned.fit(X_train, y_train) print(预剪枝 训练集:, accuracy_score(y_train, tree_pruned.predict(X_train))) print(预剪枝 测试集:, accuracy_score(y_test, tree_pruned.predict(X_test))) # 可视化剪枝后的树 plt.figure(figsize(15, 8)) plot_tree(tree_pruned, filledTrue, feature_names[ff{i} for i in range(X.shape[1])]) plt.savefig(tree_pruned.png, dpi150)逻辑说明random_state42保证每次划分一致。max_depth5和min_samples_leaf5是经验起点数据量大可以放宽。plot_tree的filledTrue按类别纯度上色feature_names如果原始数据有列名就直接用df.columns[:-1]。参数上ccp_alpha后剪枝需要先用cost_complexity_pruning_path拿到 alpha 序列再交叉验证选最优代码稍长但实验报告里是加分项。5.2 特征重要性别只看数值要看排序稳定性feature_importances_属性给出每个特征的重要性但单次划分的排序可能不稳定。我一般会跑多次不同random_state看重要性排序是否一致import numpy as np from sklearn.tree import DecisionTreeClassifier importances [] for seed in range(10): tree DecisionTreeClassifier(max_depth5, random_stateseed) tree.fit(X_train, y_train) importances.append(tree.feature_importances_) importances np.array(importances) mean_imp importances.mean(axis0) std_imp importances.std(axis0) # 按均值排序输出 idx np.argsort(mean_imp)[::-1] for i in idx[:10]: print(f特征 {i}: {mean_imp[i]:.4f} ± {std_imp[i]:.4f})逻辑说明跑 10 个不同随机种子mean_imp是平均重要性std_imp是波动。如果某个特征均值高但标准差也大说明它的重要性不稳定实验报告里不能只写「特征 X 最重要」。参数上range(10)可以加到 20 或 30但数据量大时耗时线性增长。argsort加[::-1]是降序排列取前 10 个输出。6. 避坑与排查六份作业跑不通时先查这五处6.1 路径问题相对路径和绝对路径混用现象代码在 PyCharm 里跑得通命令行python xxx.py就报FileNotFoundError。原因IDE 的工作目录默认是项目根目录命令行是你当前所在目录pd.read_csv(data.csv)找的是不同位置。解决统一用os.path.dirname(__file__)拼绝对路径或者cd到代码所在目录再跑。import os import pandas as pd base os.path.dirname(os.path.abspath(__file__)) df pd.read_csv(os.path.join(base, data.csv))6.2 编码问题中文列名或 BOM 头导致读取出错现象pd.read_csv报UnicodeDecodeError或者第一列列名前面多个\ufeff。原因CSV 文件是 GBK 编码或带 BOM 的 UTF-8。解决先试encodingutf-8-sig不行再试encodinggbk。参数上utf-8-sig专门处理 BOM 头比utf-8多一步剥离。6.3 标签列位置最后一列不一定是标签现象模型准确率极低或者回归 R2 是负数。原因data.csv的标签列可能不在最后一列或者中间有 ID 列。解决先df.head()和df.columns看一眼确认特征和标签的边界。如果列名有label、target、class之类的词直接按列名取别用iloc。6.4 随机种子不固定导致结果无法复现现象实验报告里写准确率 0.92答辩时跑出来 0.88。原因train_test_split或模型初始化没固定random_state。解决所有涉及随机的步骤都加random_state42包括train_test_split、DecisionTreeClassifier、KMeans层次聚类不涉及。参数上42 是习惯用法用别的数字也行关键是全篇统一。6.5 版本差异sklearn 旧版本参数名变了现象代码里写sklearn.cross_validation报ModuleNotFoundError。原因旧版sklearn的模块在新版里改名了cross_validation变成model_selection。解决看报错信息里的模块名对照sklearn官方迁移文档改。常见改动还有sklearn.preprocessing.Imputer变成SimpleImputersklearn.grid_search变成model_selection.GridSearchCV。提示如果六份作业里某一份的代码明显是旧版写的别硬改先pip install scikit-learn0.24之类的旧版本跑通再决定要不要升级代码。7. 把六份作业串成一条线交叉验证与结果对比的进阶玩法六份作业单独跑通只是及格线真正让实验报告出彩的是把它们串起来对比。我一般会做一件事用同一份data.csv或同一批划分跑 KNN、朴素贝叶斯、决策树三个分类器用同一套交叉验证框架对比准确率和耗时。这样实验报告里就有一张横向对比表而不是六份孤立的报告。import pandas as pd import numpy as np from sklearn.model_selection import cross_val_score, StratifiedKFold from sklearn.neighbors import KNeighborsClassifier from sklearn.naive_bayes import GaussianNB from sklearn.tree import DecisionTreeClassifier import time df pd.read_csv(data.csv) X df.iloc[:, :-1].values y df.iloc[:, -1].values # 统一用分层五折保证每折类别比例一致 cv StratifiedKFold(n_splits5, shuffleTrue, random_state42) models { KNN(k5): KNeighborsClassifier(n_neighbors5), GaussianNB: GaussianNB(), DecisionTree(d5): DecisionTreeClassifier(max_depth5, random_state42), } for name, model in models.items(): t0 time.time() scores cross_val_score(model, X, y, cvcv, scoringaccuracy) elapsed time.time() - t0 print(f{name:20s} acc{scores.mean():.4f} ± {scores.std():.4f} ftime{elapsed:.2f}s)逻辑说明StratifiedKFold比普通KFold更适合分类任务因为它保证每折的类别比例和整体一致。shuffleTrue打乱顺序random_state42固定。time.time()记录总耗时注意这是五次拟合加预测的总时间不是单次。参数上n_splits5是默认值数据量小可以调到 10但耗时翻倍。跑完这张表实验报告的「模型对比」章节就有硬数据了。还有一个技巧把决策树的feature_importances_和 KNN 的错误样本重叠起来看。如果决策树认为不重要的特征恰好是 KNN 分错的样本里取值异常的特征说明这个特征可能有噪声实验报告里可以写一段「特征质量分析」。这种交叉分析不需要额外代码把两个结果print出来人工比对就行但答辩时很能体现思考深度。从那以后我每次拿到这种打包作业都强制先跑一遍find看目录、再跑一遍head看数据、最后固定random_state跑通一份再动下一份。顺序反了后面全是返工。希望帮到你。本文还有配套的精品资源点击获取