个人笔记：实用机器学习（b站李沐）2.3

2.3数据变换变形原始数据往往不符合模型输入要求数据转换是连接清洗后的数据和可训练的特征之间的桥梁针对不同数据类型有特定方法。*对数据整体进行操作变形特征值归一化处理1梯度下降更高效不同特征量级一致避免某些特征因数值大主导损失函数2避免数值溢出或下溢防止计算中出现极大或极小数3正则化效果某些归一化方法如 Batch Norm本身具有正则化作用4加速收敛优化器能在更圆的损失曲面上更快找到最优解四种常见归一化方法1将数据线性映射到指定区间 [a,b] 通常是 [0,1] 或 [−1,1] 2将数据转换为均值为 0标准差为 1 的分布最常见3小数缩放4对数缩放图像的变换*图像的存储开销很大核心是在大规模机器学习项目中如何降低图像存储和训练成本同时尽量保持模型性能。三种方法1裁剪Cropping去除无关区域如水印、黑边、无关背景聚焦 ROIRegion of Interest减少像素数量来降低存储和计算2下采样Downsampling降低图像分辨率3压缩Compression使用有损压缩格式如 JPEG进一步减小文件体积*中等质量80%-90%JPEG压缩可能导致 ImageNet准确率下降约 1%这意味着压缩率越高-文件越小、加载越快、存储越省但信息损失越大-模型性能可能下降需要根据需求自行权衡视频的变换核心挑战在于视频数据的高度可变性以及如何在预处理阶段做好存储、质量、加载速度的权衡。对于ML短视频片段更易处理理想情况每个片段是一个连贯的语义事件*但是长视频语义分割极难视频变换的核心是化长为短、化编码为帧在保持语义完整性的前提下把高可变性的原始视频转化为固定长度、易于加载、模型友好的输入格式同时接受存储空间的代价。*需要权衡存储质量和加载速度文本的变换核心是将原始文本转化为机器学习模型能处理的结构化形式包括两大步骤1词形还原与词干提取目标将词语的不同形态归约为统一的基干形式词干提取基于规则的截断准确率低速度快E2词干还原基于词典的词性标注准确率高速度慢E12分词Tokenization目标将文本字符串切分为模型能处理的最小单元tokensgp 是词根##u 表示它是前一个 token 的延续因为词典没”gpu”这个词需要分割能处理没在词典中的词