机器学习-错误分析-常见错误

在帮助诊断运行选择下一步方法尝试提高学习算法的性能中偏差和方差是最重要的概念错误分析排在第二位假设有500个交叉样本其中有100个样本是被分错到了我们可以专注于这100个错误样本进行分析从而找到为什么与归类错误的原因21个药品垃圾邮件3个故意拼写做邮件7封路由有关的邮件18个视图获取密码5个嵌入图像的邮件我们要注意这些类别是可以重叠的他们不是互斥的一封邮件极有可能是药品和故意拼写错误都有如果总的样本数是1000000个错误分了500个我们没有资源吧500个全部都看一遍所以我们可以均匀的抽搐100个进行查看我们发现药品的错误比较多所以我们可能会增加更多的数据而且是药品数据以便算法可以更精确的判断这一类问题。或者提出特定的药品因此错误分析目的是通过手动检查一组你的算法错误分类或者错误标记的样本通常这会激发你下一步的可能尝试的有用想法有时他可以告诉你那些类型的错误足够罕见。不值得你花太多的时间去修复因此回到这个列表偏差方差告诉我们收集更多的数据是否有帮助根据我们刚刚讨论的错误分析中看起来更复杂的电子邮件特征可能会有帮助但只是略有帮助而且更复杂特征来检测药品垃圾邮件或钓鱼邮件可能会有很大的帮助而检测拼写错误的功能几乎不会有什么帮助总的来说偏差方差诊断以及这种形式的错误分析对于筛选或决定那些模型更改更有希望尝试非常有帮助错误分析的局限性是对于人类擅长的问题来说他更容易进行人类就很容易判断一个邮件是否是垃圾邮件为什么算法出错对于人类也不擅长的任务错误分析可能会更难一些所以高方差和高偏差决定我们应该怎么做而多无分析决定我们怎么改怎么优化他们都是我为了提高模型的准确度但是两者的侧重点不同偏差方差框架是通用顶层诊断工具帮我们确定优化大方向 多重共线性是线性模型特有的特征层面诊断工具用于定位一类具体问题 二者目标都是提升模型效果但层级、适用范围、解决的问题维度完全不同不是 “前期 vs 后期” 的关系而是 “宏观战略 vs 局部特征问题” 的关系。