1. 从线性回归到广义线性模型一个核心思想的跃迁在数据分析、机器学习乃至统计建模的日常工作中线性回归模型是我们最熟悉的老朋友。它的形式简洁解释性强y β₀ β₁x₁ ... βₖxₖ ε这个公式几乎刻在了每个从业者的脑子里。我们用它预测房价、分析广告点击率、评估用户行为。但不知道你有没有遇到过这样的尴尬时刻当你试图用线性回归去预测一个只有0和1的二元结果比如用户是否点击、设备是否故障时模型给出的预测值竟然跑到了[0,1]区间之外这显然不符合逻辑。或者当你处理计数数据比如一天内网站的访问次数它只能是0,1,2,...这样的非负整数时线性回归假设的残差正态分布和连续响应变量就显得格格不入预测值出现负数更是荒谬。这些“尴尬”并非线性回归的错而是我们错误地使用了它。线性回归的核心假设是响应变量y是连续的并且与预测变量呈线性关系其误差项服从正态分布。当我们的数据违背这些假设时强行套用线性回归就像用螺丝刀去拧螺母不仅费力结果还不可靠。广义线性模型正是为了解决这些“尴尬”而诞生的。它不是一个特定的模型而是一个强大的模型框架。你可以把它理解为线性回归的一个“超级进化版”。GLM的核心思想非常巧妙它不再要求响应变量y本身与预测变量线性相关而是要求y的某个期望的函数与预测变量线性相关。这个“函数”就是连接函数。同时它允许y服从指数族分布中的任意一种比如二项分布对应0/1数据、泊松分布对应计数数据、伽马分布对应正连续数据等。这样一来GLM就将线性回归、逻辑回归、泊松回归等模型统一到了一个优雅的理论框架下。理解GLM意味着你掌握了打开一大类实用统计模型大门的钥匙能够根据数据的真实面貌选择合适的工具而不是试图把所有问题都塞进线性回归的框里。2. GLM的三要素拆解其核心工作机制要真正理解GLM不能只停留在“它很强大”的层面必须深入其三个核心组成部分随机成分、系统成分和连接函数。这三者共同作用构成了GLM的完整定义。2.1 随机成分响应变量的分布假设这是GLM与传统线性回归的第一个重大区别。在线性回归中我们默认y ~ N(μ, σ²)即响应变量服从正态分布。在GLM中这个限制被大大放宽了y可以服从指数族分布。什么是指数族分布它是一个非常广泛的分布家族其概率密度函数或质量函数可以写成一种特定的形式。你不需要记住复杂的数学公式只需要知道我们常用的许多分布都属于这个家族正态分布用于连续数据如身高、温度、误差。二项分布用于二元数据成功/失败是/否如点击率、转化率。泊松分布用于计数数据在固定时间/空间内事件发生的次数如网站访问量、呼叫中心来电数。伽马分布用于正连续数据且可能具有右偏态如保险索赔额、设备寿命。负二项分布用于过度离散的计数数据方差远大于均值如某些疾病的发病数。在GLM中我们首先根据响应变量y的数据类型连续、二元、计数和特性为其指定一个合适的指数族分布。这个分布决定了y的变异模式。例如对于点击数据我们指定二项分布对于访问量数据我们指定泊松分布。这一步是模型合理性的基础。2.2 系统成分预测变量的线性组合这部分和线性回归是一致的。系统成分指的是预测变量特征的线性组合它构成了模型的结构部分η β₀ β₁x₁ β₂x₂ ... βₖxₖ这里的η被称为线性预测器。β₀, β₁, ..., βₖ是我们需要估计的模型参数。系统成分捕捉了预测变量对响应变量的系统性影响。2.3 连接函数架起系统与随机的桥梁这是GLM中最精妙也最关键的一环。在线性回归中我们直接假设响应变量的期望E(y) μ就等于线性预测器η即μ η。这可以看作是一种特殊的连接函数——恒等连接函数。但在非正态数据中μ的取值范围是受限的比如二项分布的μ在0到1之间泊松分布的μ大于0而线性预测器η的取值范围是整个实数域 (-∞, ∞)。直接让它们相等 (μ η) 显然不行。连接函数g(·)的作用就是为μ和η这两个取值空间不同的量建立一个可逆的映射关系。它定义为g(μ) η换句话说连接函数将响应变量的期望μ变换到整个实数域上使得变换后的值能够与线性预测器η建立线性关系。其反函数μ g⁻¹(η)被称为均值函数它将线性预测器的结果映射回响应变量原本的取值空间。常见的连接函数包括恒等连接g(μ) μ。用于正态分布响应就是普通的线性回归。Logit连接g(μ) log(μ / (1-μ))。这是逻辑回归的核心它将[0,1]区间的μ概率映射到实数域。其反函数是Sigmoid函数μ 1 / (1 exp(-η))保证输出永远在0和1之间。对数连接g(μ) log(μ)。常用于泊松回归和伽马回归它将大于0的μ映射到实数域。其反函数是指数函数μ exp(η)保证输出永远为正。逆连接g(μ) 1/μ。有时用于伽马分布。选择连接函数的经验通常每个指数族分布都有一个“典则连接函数”它能使数学推导最简洁出现在指数族分布的自然参数位置。例如二项分布的典则连接是Logit泊松分布是Log。在实践中我们通常优先使用典则连接除非有强烈的先验知识或模型诊断表明其他连接函数更优。3. 主流GLM家族成员详解与应用场景理解了GLM的三要素我们就能像查阅菜单一样根据手头的数据类型选择合适的GLM模型。下面我们来详细拆解几个最常用的家族成员。3.1 逻辑回归应对“是与否”的利器场景这是应用最广泛的GLM之一。任何二元分类问题如邮件是否为垃圾邮件、交易是否存在欺诈、用户是否会流失、疾病诊断阳性与否都是逻辑回归的用武之地。模型设定随机成分响应变量y服从二项分布y1代表事件发生。连接函数Logit函数η log(μ / (1-μ))其中μ P(y1)即事件发生的概率。模型形式P(y1) 1 / (1 exp(-(β₀ β₁x₁ ... βₖxₖ)))。核心输出与解释逻辑回归直接输出的是事件发生的概率。对于参数βᵢ的解释需要特别注意exp(βᵢ)表示优势比。保持其他变量不变xᵢ每增加一个单位事件发生的优势P/(1-P)将变为原来的exp(βᵢ)倍。注意βᵢ的正负表示影响方向但其数值大小不能像线性回归那样直接解释为“概率变化多少”。这是新手常犯的错误。一定要通过优势比或计算特定x值下的预测概率来理解影响。实操心得逻辑回归对特征的多重共线性比较敏感可能导致系数估计不稳定。在建模前检查一下特征间的相关性VIF值是个好习惯。另外当数据极度不平衡时如99%的负样本可能需要使用过采样、欠采样或调整分类阈值的方法。3.2 泊松回归为“计数”数据量身定制场景专门处理计数型响应变量。例如分析一个零售店每小时进店顾客数受天气、时段、促销影响研究一个社区每月交通事故数与道路设计、车流量相关或者预测一篇博客的每日阅读量。模型设定随机成分响应变量y服从泊松分布。泊松分布有一个强假设均值等于方差即E(y) Var(y) μ。连接函数对数连接η log(μ)。模型形式log(μ) β₀ β₁x₁ ... βₖxₖ等价于μ exp(β₀ β₁x₁ ... βₖxₖ)。核心输出与解释参数βᵢ的解释非常直观保持其他变量不变xᵢ每增加一个单位y的期望计数μ将变为原来的exp(βᵢ)倍。例如βᵢ 0.2则exp(0.2) ≈ 1.22意味着xᵢ增加一单位期望计数增加约22%。一个必须警惕的“坑”过度离散。泊松分布的均值方差假设在现实中经常被违背。很多时候计数数据的方差会远大于均值这种现象称为“过度离散”。如果忽略这一点仍使用标准泊松回归会导致标准误被低估从而可能得到虚假的“显著”结果。排查与解决拟合泊松模型后一个关键的诊断步骤是检查是否存在过度离散。一个粗略的方法是计算残差偏差 / 残差自由度如果这个比值远大于1比如1.5就提示存在过度离散。此时更稳健的选择是使用负二项回归它通过引入一个额外的离散参数放松了均值方差的假设是处理过度离散计数数据的标准工具。3.3 其他常见成员伽马回归与负二项回归伽马回归场景响应变量是正连续数据且常常呈现右偏分布即大部分数据较小少数数据极大。典型的例子包括保险索赔金额、设备维修时间、家庭用电量、药物在体内的停留时间。为什么不用线性回归线性回归假设残差正态且方差恒定。对于右偏的连续数据残差往往不服从正态分布且方差可能与均值有关大均值对应大方差。伽马分布能很好地刻画这种特性。连接函数常用对数连接或逆连接。负二项回归场景如上所述主要用于存在过度离散的计数数据。例如社交媒体上一条内容的分享次数方差极大、流行病学中某个区域的发病人数存在聚集性。与泊松回归的关系你可以把负二项回归看作是泊松回归的“加强版”或“泛化版”。当负二项回归中的离散参数趋向于无穷大时它就退化成了泊松回归。因此当怀疑有过度离散时直接拟合负二项回归是更安全的选择。4. 模型建立、评估与诊断的完整工作流掌握了理论最终要落地到实践。建立一个可靠的GLM并不仅仅是调用glm()函数那么简单它遵循一个严谨的工作流。4.1 变量选择与模型构建在构建系统成分即选择哪些x进入模型时除了业务逻辑统计方法可以帮助我们。向前/向后/逐步选择基于AIC或BIC等准则自动化地增删变量。但要注意这可能导致过拟合且结果可能依赖于搜索路径。正则化方法LASSO, Ridge特别适用于特征较多的情况。glmnet等R包支持对GLM进行正则化可以在拟合的同时进行变量选择防止过拟合并处理多重共线性。这是我个人在特征维度较高时的首选方法。交互项与多项式项根据业务知识考虑加入预测变量之间的交互项如x1:x2或者变量的多项式项如I(x1^2)以捕捉更复杂的非线性关系。但加入后需谨慎评估其必要性避免模型过于复杂。4.2 参数估计迭代加权最小二乘GLM的参数β通常采用最大似然估计。但由于模型非线性没有像线性回归那样的解析解。求解过程通过迭代加权最小二乘算法完成。你不需要手动实现它但了解其思想有助于理解模型输出给定初始参数估计计算当前拟合值μ和线性预测器η。根据连接函数和当前拟合值计算一个“工作响应变量”和“权重”。用加权最小二乘法拟合一个关于“工作响应变量”的线性模型得到新的参数估计。重复步骤2-3直到参数估计的变化小于某个阈值收敛。 这个过程由统计软件如R的glm, Python的statsmodels在后台自动完成我们只需要关注结果是否收敛。4.3 模型评估不止看R²对于GLM传统的R²意义有限。我们需要一套组合拳来评估模型偏差与似然比检验偏差衡量了模型对数据的拟合程度。通过比较嵌套模型如完整模型 vs 去掉某个变量的简化模型的偏差可以进行似然比检验判断该变量是否显著。在R中anova(model1, model2, testChisq)可以完成此操作。信息准则AIC, BIC用于比较非嵌套模型或进行变量选择。AIC/BIC越小越好它们平衡了模型的拟合优度和复杂度。分类模型的评估针对逻辑回归等混淆矩阵与衍生指标准确率、精确率、召回率、F1分数。ROC曲线与AUC评估模型在不同分类阈值下的整体分类性能。AUC越接近1越好。提升图与KS曲线在营销风控等领域常用于评估模型排序能力。计数/连续模型的评估残差分析绘制皮尔逊残差或偏差残差的图形。检查残差是否随机分布有无明显的模式如漏斗形提示可能需更换连接函数或分布假设。预测 vs 观测图将观测值 against 预测值绘制散点图理想情况应围绕对角线分布。4.4 模型诊断识别潜在问题拟合模型后必须进行诊断以确保模型假设基本合理。检查过度离散如前所述对泊松模型计算残差偏差/残差自由度。检查异常值与强影响点帽子值度量每个观测点对自身拟合值的影响杠杆。库克距离综合衡量杠杆作用和残差大小识别对整体参数估计有强影响的点。 在R中plot(model, which5)可以绘制库克距离图。对于强影响点需要检查其数据是否正确或考虑使用稳健回归方法。检查线性假设对于连续型预测变量可以将其与模型的残差或与连接函数转换后的响应变量作图检查是否存在非线性关系。如果存在可能需要加入该变量的多项式项或使用样条函数。5. 广义线性混合模型当数据存在层次结构时GLM解决了很多问题但它有一个重要假设所有观测都是独立的。然而现实中数据常常具有层次结构或聚集性导致观测之间不独立。例如重复测量同一个病人在不同时间点被测量多次。分层数据学生嵌套于班级班级嵌套于学校。空间/时间数据相邻地区的测量值可能相关。在这种情况下使用普通GLM会忽略组内相关性导致标准误估计错误。广义线性混合模型是GLM的自然扩展它在GLM的线性预测器中加入了随机效应用以捕捉不同组别的特定效应。模型形式g(μ) η Xβ Zγ ε其中Xβ是固定效应部分与我们关心的解释变量相关Zγ是随机效应部分γ服从某个多元正态分布均值为0ε是残差。GLMM允许数据存在相关性和异质性通过估计随机效应的方差成分可以更合理地进行统计推断。在R中lme4包的glmer()函数是拟合GLMM的常用工具。使用GLMM的挑战在于模型更复杂计算量更大且结果解释需要同时考虑固定效应和随机效应的方差。