一、文章主要内容总结本文提出了贝叶斯混合专家模型（Bayesian-MoE），这是一种针对混合专家（MoE）架构大语言模型（LLMs）的事后不确定性估计框架，核心目标是解决LLM微调后存在的过度自信、校准不佳、分布外泛化能力弱等问题，同时避免引入额外参数和修改原有训练流程。核心技术路径目标定位：仅对MoE模型中每个专家的第二层线性层应用结构化拉普拉斯近似（Laplace approximation），不涉及输入投影和路由权重，充分利用MoE的模块化设计实现高效的块级后验估计。高效计算策略：采用克罗内克分解低秩近似（Kronecker-factored low-rank approximations）建模曲率，通过随机奇异值分解（rSVD）、伍德伯里恒等式等技术，在不存储大规模矩阵的前提下，实现预测不确定性和边际似然的可扩展估计。实验验证：在Qwen1.5-MoE-A2.7B和DeepSeekMoE-16B-Base两个模型上，基于Winogrande、ARC、MMLU等常识推理数据集开展实验，同时评估了分布内和分布外场景下的性能。关键实验结果校准性能：在预期校准误差（ECE）和负对数似然（NLL）上持续优于蒙特卡洛 dropout、模型集成、贝叶斯LoRA等基线方法，且在分布外场景下仍能显著降低ECE（如Qwen1.5-MoE在WG-S数据集上ECE降至3.0%
一、文章主要内容总结本文提出了贝叶斯混合专家模型（Bayesian-MoE），这是一种针对混合专家（MoE）架构大语言模型（LLMs）的事后不确定性估计框架，核心目标是解决LLM微调后存在的过度自信、校准不佳、分布外泛化能力弱等问题，同时避免引入额外参数和修改原有训练流程。核心技术路径目标定位：仅对MoE模型中每个专家的第二层线性层应用结构化拉普拉斯近似（Laplace approximation），不涉及输入投影和路由权重，充分利用MoE的模块化设计实现高效的块级后验估计。高效计算策略：采用克罗内克分解低秩近似（Kronecker-factored low-rank approximations）建模曲率，通过随机奇异值分解（rSVD）、伍德伯里恒等式等技术，在不存储大规模矩阵的前提下，实现预测不确定性和边际似然的可扩展估计。实验验证：在Qwen1.5-MoE-A2.7B和DeepSeekMoE-16B-Base两个模型上，基于Winogrande、ARC、MMLU等常识推理数据集开展实验，同时评估了分布内和分布外场景下的性能。关键实验结果校准性能：在预期校准误差（ECE）和负对数似然（NLL）上持续优于蒙特卡洛 dropout、模型集成、贝叶斯LoRA等基线方法，且在分布外场景下仍能显著降低ECE（如Qwen1.5-MoE在WG-S数据集上ECE降至3.0%
)
