同样的知识点怎么说决定了面试官给你评分的上限。面试官每天面5-8个人能让他眼前一亮的回答就那么几个关键点。本章不讲知识点讲怎么说知识点。11.1 三层答题框架任何技术问题按这个结构回答第1层直觉理解30秒 → 一句话说清楚是什么 一个类比 → 目标面试官知道你懂了 第2层核心原理2-3分钟 → 关键公式/核心架构/工程权衡 → 目标面试官知道你会了 第3层知识网络30秒 → 主动建立横向联系 暗示还有更多可以展开 → 目标面试官知道你有体系了示例用三层框架回答什么是Attention第1层直觉理解“Attention本质就是带权重的信息检索——Query是问题Key是索引Value是内容通过匹配Query和Key来决定从Value中取多少信息。”第2层核心原理“数学形式Attention(Q,K,V) softmax(QK^T/√d_k)V。除以√d_k防止点积方差随维度增长导致softmax饱和。关键设计选择是点积作为相似度函数——GPU矩阵运算高度优化是效率和表达能力的平衡点。”第3层知识网络“Attention还有重要延伸——自回归生成时需缓存K/V矩阵避免重复计算这就是KV-Cache。它和推理优化直接相关GQA通过分组共享KV来减少缓存量。如果面试官感兴趣我可以展开KV-Cache的显存计算。”11.2 十六个高频问题的进阶话术11.2.1 “为什么LLM推理这么慢”错误回答 因为自回归生成每次只能生成一个token。 正确回答分阶段分析 LLM推理瓶颈需分两阶段分析 Prefill阶段——处理整段Prompt是compute-bound 瓶颈是矩阵乘法速度。 Decode阶段——每步只生成一个token计算量很小 但要从HBM把完整模型参数读取到计算单元。 70B模型FP16有140GB每步都要读一遍 真正拖慢速度的是Decode阶段的内存带宽瓶颈。 这也解释了为什么量化对推理这么有效—— 它直接减少了要从HBM读取的数据量。 INT4比FP16减少4倍推理速度几乎线性提升。11.2.2 “RLHF的完整流程”结构化回答画图配合 RLHF分三个阶段 第一阶段SFT收集10K-100K人类高质量问答→监督微调。 不是学新知识而是让模型学会对话的格式。 第二阶段RM Training对同一Prompt生成多个回答→人类排序→ 训练Reward Model预测人类偏好分数。 RM本质就是模拟人类裁判。 第三阶段PPO用RL优化Policy ModelRM给分 Policy用分数做梯度更新。同时加KL惩罚项 防止Policy偏离Reference太远。 KL约束是关键设计——没有它Policy很快会 学会骗RM给高分而不是真正变好。11.2.3 “DPO怎么做到了不需要Reward Model”DPO的核心洞察来自一个数学推导 RLHF的优化目标最大化奖励KL约束有闭式解。 最优Policy可以用Reference Policy和Reward函数直接表达。 反转关系如果某个Policy最优Reward函数就可以用 Policy和Reference的比值反推。 DPO的做法把Reward代入Bradley-Terry偏好模型 Reward就消失了——只剩Policy的比值和偏好标签。 不需要训练RM不需要PPO的滚动策略交互。 代价DPO是offline的——不能像PPO在训练中探索新回答。 效果强烈依赖偏好数据质量。11.2.4 “ZeRO的三个阶段分别省什么”ZeRO解决的核心问题显存大部分被优化器状态占着不是参数本身。 ZeRO-1只分片优化器状态Adam动量和方差 → 每卡存1/N → 显存省约4倍。通信量不变。 ZeRO-2分片优化器梯度 → 显存再省2倍。通信从all-reduce变reduce-scatterall-gather。 ZeRO-3分片优化器梯度参数 → 显存省约N倍。但每步前向反向都需all-gather参数。 实际选型ZeRO-2性价比最高——显存节省大、通信增加少。 ZeRO-3通常和TP配合使用。11.2.5 “为什么FlashAttention能加速”传统Attention的问题对HBM的读写太多。 QK^T结果要从SRAM写回HBMsoftmax再从HBM读到SRAM 和V加权又要写回。一个Attention层要和HBM多次往返。 FlashAttention的核心洞察 不要让数据来回跑——把它们分块在SRAM里算完再写回。 具体做法 1. Q/K/V分成小块 2. 每个块在SRAM速度~20×HBM里算局部Attention 3. online softmax——不需要等完整归一化 4. 合并各块结果 效果HBM读写减少到1/N端到端加速2-4倍。 而且不影响精度——数学上等价。 11.2.6 “Scaling Law告诉我们什么”Scaling Law的核心发现 一、模型效果和参数量、数据量、计算量正相关。 关系是幂律——每次翻倍带来稳定但递减的收益。 二、Chinchilla发现最优计算分配是参数:数据≈1:20。 7B模型应配约140B tokens。 推翻了GPT-3更多参数、更少数据的观念。 三、意味着预算有限时不要只堆参数——数据同样重要。 很多开源模型的问题就是参数大但数据不够实际上欠训练。 11.2.7 “MHA/GQA/MQA的关系”这是注意力架构的演进路线 MHA每个头有自己的Q/K/V投影 → 效果好KV-Cache大 MQA所有Q头共享一个K/V → KV-Cache极小精度下降明显 GQAQ头分g组每组共享一组K/V → 平衡 一句话GQA是MHA质量和MQA效率的折中。 LLaMA-2 70B用GQA-8。 DeepSeek-V2更进一步用MLA—— 不分组压缩K/V到低维空间KV-Cache再减95%。11.2.8 “GQA的KV-Cache到底省多少给个数”来算一笔账 MHA每层KV-Cache 2×b×h×d_k×seq_len h32, d_k128, b1, seq_len4096 → 每层 2×1×32×128×4096 32MB GQA-8每层 2×1×8×128×4096 8MB GQA-8比MHA省4倍。32层模型MHA约1GBGQA-8约0.25GB。 11.2.9 “什么是LLM-as-Judge有什么问题”LLM-as-Judge用一个LLM评估另一个LLM。 三种方式Pairwise、单点评分、参考标准评分。 最大问题是偏误 一、Position BiasA放前面和B放前面结果可能相反 → 交换顺序评两次 二、Narcissus BiasJudge更喜欢和自己风格相似的回答 → 换不同模型做Judge 三、Length BiasJudge倾向给更长回答更高分 → 评分标准中明确简洁性权重 它不是完美的但是在人工评测太贵、自动指标太差 之间最好的折中。关键是知道局限并回避。11.2.10 “RAG中Chunk大小怎么定”通用经验值256-512 tokens。 太小(100)缺乏上下文太大(1000)噪音多。 但固定长度不是最好的——更好的做法是语义切分 按段落、标题、句子边界切保持语义完整性。 易忽视的点chunk大小要和Embedding模型匹配。 大多数Embedding模型在512 tokens左右效果最佳 超出长度检索质量反而下降。11.2.11-11.2.16 快速话术要点问题回答框架“Agent和RAG什么关系”RAG是Agent的一个工具Agentic RAG让Agent动态决定检索策略“项目效果怎么评估”三层核心指标→错误分析→消融实验“方案有什么局限”三个局限核心失效场景天花板trade-off“DeepSeek-R1的GRPO”用组内均值/标准差替代Value Model去掉Value Model“MoE了解多少”三个设计点路由策略负载均衡通信效率“Pre-LN为什么用它”梯度恒等项保证不消失可以不warmup11.3 展示知识网络的连接话术面试中主动展示跨概念联系是加分信号。可以随口抛出的金句这和ZeRO思路类似——都通过分组减少内存 GQA在模型架构层面做ZeRO在训练框架层面做。 KV-Cache贯穿整个体系—— 从Attention计算→GQA减少缓存→vLLM管理→量化压缩 没有一个环节是孤立的。 RLHF→DPO→GRPO的演进本质是减少组件。 RLHF要4个模型DPO去掉了RMGRPO去掉了Value Model。 如果从工程角度看本质上是在质量-速度-成本三角中做取舍。 MHA/GQA/MQA/MLA都在找这个三角形的最优解。主动延伸钩子回答完主问题后主动抛出延伸……如果面试官感兴趣我可以讲KV-Cache的显存计算细节。 ……这里有一个很有意思的工程权衡可以深入分析。 ……这个问题还有另一个角度——从训练看compute-bound 从推理看memory-bound优化思路完全不同。11.4 不会时的结构化回答遇到知识盲区最忌讳这个我不太清楚然后沉默。标准模板这个具体细节我记不太清了 但根据我对XX原理的理解它的逻辑应该是…… 因为我之前在做YY项目时接触过类似的设计 区别在于…… 三要素 1. 诚实说不知道建立信任 2. 展示推理过程展示分析能力 3. 给面试官纠正的机会保持互动示例被问不熟悉的论文面试官你知道Mamba吗和Transformer的区别 我没有深入精读Mamba论文 但基于对序列建模的理解它应该试图在保持线性复杂度的同时 达到接近Attention的表达能力。 核心是用状态空间模型SSM替代Attention 用选择性机制做上下文感知的选择。 如果理解有偏差麻烦您指正。示例被问不熟悉的框架面试官你用vLLM部署过吗 我没在vLLM上做过部署 但理解它核心是PagedAttention——虚拟内存思想管理KV-Cache。 我们团队用的是TGI。两个工具底层逻辑相通 给我周末时间应该能快速上手。11.5 追问应对策略追问类型与应对追问类型考察什么应对策略“为什么”理解本质说出设计选择的原因“和XX比呢”对比分析能力横向对比优缺点“具体数字”量化思维给具体计算过程“边界情况”考虑全面分析极端场景“改进思路”创新思维提出未来方向追问循环模拟Q: 说一下Attention A: ...QK^T/√d_k Q: 为什么除以√d_k ← 追问1 A: d_k大时点积方差大softmax饱和… Q: d_k64时方差具体多少 ← 追问2量化 A: Var64std8除以√648恢复方差到1 Q: 除以d_k可以吗 ← 追问3比较 A: 不行——Var1/d_k方差太小softmax太平 Q: 不缩放会怎样 ← 追问4边界 A: softmax饱和梯度≈0模型无法有效训练 → 展现了理解本质、能计算、知道边界11.6 场景设计题回答框架四步法第一步澄清需求1-2分钟 目标是什么准确率优先还是延迟优先 数据规模和用户规模 资源限制GPU数量、内存预算 第二步整体架构2分钟 画系统架构图 分成三层数据层、模型层、应用层… 第三步关键设计决策3分钟 每个决策说出trade-off 选XX方案因为此场景YY更重要。 代价是ZZ受影响但可以接受因为… 第四步边界情况和容错1分钟 当XX发生时系统怎么降级 工具调用失败怎么办 长尾query怎么处理11.7 反问环节的10个高质量问题面试结束时你有什么要问我的——这是展示深度的最后机会。问题展示什么“团队目前在做的最有挑战的LLM问题是什么”对技术挑战的关注“模型从研究到上线通常经过哪些阶段”对工程落地的理解“团队在推理优化方面主要投入在哪些方向”对技术方向的兴趣“团队如何平衡技术探索和交付压力”对工程管理的理解“对于新人团队有什么样的成长路径”对长期发展的关注“团队目前用的技术栈和基础设施是怎样的”对实际工作的关注“当前模型效果最大的瓶颈在哪个环节”对系统思维“团队怎么做技术选型有没有踩过什么坑”对经验学习“未来半年团队最希望解决的问题”对目标的关注“您的团队和其他团队如数据/产品怎么协作”对跨团队合作11.8 各公司面试风格微调公司风格偏好调整策略字节跳动重视代码能力算法题难手撕代码准备充分八股文要深入阿里巴巴重视落地经验和系统设计多讲项目经验和工程权衡腾讯重视学术背景和论文理解准备论文细节和创新点DeepSeek重视研究深度和创新展示对前沿的理解和思考百度重视基础扎实基础概念要扎实不要跳步美团重视业务场景将技术和业务结合讲11.9 踩坑实录Top10排名踩坑正确做法1回答太长太啰嗦先给结论面试官追问再展开2只说概念不说数字准备关键数字参数量/显存/速度3不会就沉默用结构化模板展示推理过程4被追问就慌追问是好事说明面试官感兴趣5项目介绍像流水账用问题-方案-效果-反思结构6不主动建立知识联系主动展示跨概念联系7只讲优点不讲局限主动说局限展示批判性思维8背诵式回答用理解-推理-结论模式9不复述问题复述确保理解一致争取思考时间10反问环节说没有问题准备2-3个高质量问题11.10 项目介绍黄金结构1. 一句话概述30秒 我在XX项目中负责YY模块目标是ZZ。 2. 问题定义30秒 核心挑战是…… 难点在于…… 3. 方案设计2分钟 整体方案分三层…… 关键设计决策是XX因为YY…… 4. 效果与数据1分钟 上线后核心指标提升了XX% 对比baseline在YY维度上有显著提升 5. 反思与迭代30秒 回头看最大的教训是…… 如果重新做我会改变……关键原则用数字说话避免模糊描述突出个人贡献而非团队工作展示决策过程而非只展示结果承认不足展示成长补充自我介绍模板应届硕士模板面试官您好我是XX大学计算机专业硕士研究方向是NLP/大模型。 研究工作方面我的硕士课题围绕[具体方向]在[会议/期刊]发表了X篇论文。 其中代表性工作是用[方法]解决了[问题]核心创新点是[一句话描述]。 实验在[X数据集]上达到了[SOTA/XX%提升]。 项目实践方面在[公司名]实习期间我负责了[项目名] 用[技术栈]实现了[功能]最终[量化成果如准确率提升X%/延迟降低X%]。 技术栈方面熟悉PyTorch、Transformers、vLLM等工具 有[X]张GPU的训练经验熟悉分布式训练和数据并行。 我对贵团队的[具体方向]很感兴趣希望能将我的研究经验应用到实际产品中。时间控制1.5-2分钟。关键词研究能力、工程能力、学习能力。社招3-5年模板面试官您好我在[公司]做大模型相关的工作X年经验。 最近在做的一个项目是[项目名]目标是[一句话目标]。 我在其中负责[具体职责]用[核心技术方案]解决了[核心挑战]。 最终[量化结果]。 之前的工作经历中我先后在[公司A]和[公司B]做过 - [项目1]: [技术][成果] - [项目2]: [技术][成果] 技术上我比较擅长[方向1]和[方向2] 在[领域]有从0到1再到落地的完整经验。 关注到贵团队在[方向]上做得很好我对[具体问题]特别感兴趣。时间控制2-3分钟。关键词落地经验、技术深度、业务理解。转行/跨方向模板面试官您好我之前的背景是[原方向]最近一年系统转向大模型方向。 转行的契机是[简述原因]之后我通过以下方式建立能力 - 系统学习了[课程/书籍] - 复现了[论文/项目] - 在[平台]上完成了[具体项目] - [如果有]在开源社区贡献了[具体内容] 我的原方向经验在[某方面]是可以迁移的 比如[具体举例数据处理经验/工程架构经验/数学基础等]。 我深知自己在[某方面]还需要补足但我的学习能力和适应能力 在[之前的经历]中已经得到验证——[举例]。时间控制1.5-2分钟。关键词学习能力、迁移价值、自驱力。追问转行面试最容易被挑战的点是什么“你觉得你的竞争力在哪里” 回答策略(1) 不回避差距承认在[某方面]不如科班(2) 强调差异化优势——原领域经验带来的独特视角(3) 用具体项目证明学习能力(4) 表达长期投入的决心。补充项目经验STAR法则示例STAR法则框架Situation(背景): 什么场景/什么需求/什么约束 Task(任务): 你的具体职责和目标 Action(行动): 你做了什么、为什么这么做、遇到什么困难、怎么解决 Result(结果): 量化成果 学到了什么示例RAG系统优化项目S: 公司的知识库问答系统上线后用户满意度只有60% 主要问题是回答不准确幻觉率高和响应慢P99延迟8秒。 T: 我负责将回答准确率从65%提升到85%以上延迟降到3秒以内。 A: 我做了三件事 1. 检索侧将单路向量检索改为Hybrid(DenseBM25RRF) 并引入BGE-Reranker做二阶段重排序。 这一步将检索召回率从72%提升到89%。 2. 生成侧将Chunk大小从256调到512增加上下文 加入Self-RAG机制让模型判断是否需要额外检索。 幻觉率从35%降到12%。 3. 延迟侧引入语义缓存Redis 模型从30B降到7BINT4量化。 延迟从8秒降到2.5秒。 R: 准确率从65%提升到87%超过目标延迟P99从8秒降到2.5秒。 项目上线3个月用户满意度从60%提升到82%。 最大的教训是检索质量对RAG效果的影响远大于生成模型的大小。示例模型训练项目S: 团队需要将一个开源7B模型适配到金融场景 客户给了5000条标注数据要求F185%。 T: 我负责微调方案设计和实施目标是在有限数据下达到最优效果。 A: 我对比了三条路线 1. 全参SFT效果最好但需要8卡A100成本高且在小数据集上过拟合 2. LoRA(r16)SFT效果接近全参但只需2卡最终选择 3. Prompt EngineeringbaselineF1只有72% 最终方案LoRA(r16, alpha32) 数据增强(回译同义替换到15000条) Early Stopping(监控验证集loss) 遇到的困难LoRA在金融术语上表现差——解决额外收集了2000条术语相关数据 用加权采样提高这类数据的训练权重。 R: F1从baseline 72%提升到88%超过目标。 模型部署后推理延迟200ms满足线上要求。补充技术深度展示话术如何展示我不仅会用还理解原理模式1: 我用过X也研究过它的实现 例我不仅用vLLM部署过模型还读过PagedAttention的论文 理解它如何通过block table将KV Cache分页管理类似OS虚拟内存。 这使得KV Cache的碎片率从60-80%降到4%。 模式2: 我做过A/B对比发现了X 例我对比过FlashAttention-1和FlashAttention-2的实现 发现FA-2主要改进了work partition策略减少了non-matmul的工作量 在A100上比FA-1快了约20%。 模式3: 我遇到过X问题通过Y解决的 例训练时遇到过loss spike排查发现是学习率warmup不够—— 模型在初期梯度不稳定导致某些参数更新过大。 加了200步linear warmup后问题解决。如何展示我有全局视野模式1: 技术选型决策 选型时我对比了X和Y选择X是因为[场景特定原因]。 如果场景变成[另一种]我会选Y因为[另一个原因]。 模式2: 技术趋势判断 我认为[某技术]会成为主流因为[原因1][原因2]。 但也存在[局限]可能需要[某方向]的突破。 模式3: 端到端思考 这个任务从数据收集到模型训练到部署上线 我参与了全链路。最大的瓶颈其实在[数据/工程/评估]环节 而不是模型本身。本章要点速查模块核心要点重要度三层框架直觉→原理→网络5星高频话术16个问题的进阶答法5星知识网络主动展示跨概念联系4星不会时应对诚实推理互动4星追问应对5种追问类型的策略4星场景设计四步法框架4星反问环节10个高质量问题3星公司风格各公司偏好调整3星踩坑避免Top10常见错误3星项目介绍黄金结构5步4星
同样的知识点怎么说决定了面试官给你评分的上限。面试官每天面5-8个人能让他眼前一亮的回答就那么几个关键点。本章不讲知识点讲怎么说知识点。11.1 三层答题框架任何技术问题按这个结构回答第1层直觉理解30秒 → 一句话说清楚是什么 一个类比 → 目标面试官知道你懂了 第2层核心原理2-3分钟 → 关键公式/核心架构/工程权衡 → 目标面试官知道你会了 第3层知识网络30秒 → 主动建立横向联系 暗示还有更多可以展开 → 目标面试官知道你有体系了示例用三层框架回答什么是Attention第1层直觉理解“Attention本质就是带权重的信息检索——Query是问题Key是索引Value是内容通过匹配Query和Key来决定从Value中取多少信息。”第2层核心原理“数学形式Attention(Q,K,V) softmax(QK^T/√d_k)V。除以√d_k防止点积方差随维度增长导致softmax饱和。关键设计选择是点积作为相似度函数——GPU矩阵运算高度优化是效率和表达能力的平衡点。”第3层知识网络“Attention还有重要延伸——自回归生成时需缓存K/V矩阵避免重复计算这就是KV-Cache。它和推理优化直接相关GQA通过分组共享KV来减少缓存量。如果面试官感兴趣我可以展开KV-Cache的显存计算。”11.2 十六个高频问题的进阶话术11.2.1 “为什么LLM推理这么慢”错误回答 因为自回归生成每次只能生成一个token。 正确回答分阶段分析 LLM推理瓶颈需分两阶段分析 Prefill阶段——处理整段Prompt是compute-bound 瓶颈是矩阵乘法速度。 Decode阶段——每步只生成一个token计算量很小 但要从HBM把完整模型参数读取到计算单元。 70B模型FP16有140GB每步都要读一遍 真正拖慢速度的是Decode阶段的内存带宽瓶颈。 这也解释了为什么量化对推理这么有效—— 它直接减少了要从HBM读取的数据量。 INT4比FP16减少4倍推理速度几乎线性提升。11.2.2 “RLHF的完整流程”结构化回答画图配合 RLHF分三个阶段 第一阶段SFT收集10K-100K人类高质量问答→监督微调。 不是学新知识而是让模型学会对话的格式。 第二阶段RM Training对同一Prompt生成多个回答→人类排序→ 训练Reward Model预测人类偏好分数。 RM本质就是模拟人类裁判。 第三阶段PPO用RL优化Policy ModelRM给分 Policy用分数做梯度更新。同时加KL惩罚项 防止Policy偏离Reference太远。 KL约束是关键设计——没有它Policy很快会 学会骗RM给高分而不是真正变好。11.2.3 “DPO怎么做到了不需要Reward Model”DPO的核心洞察来自一个数学推导 RLHF的优化目标最大化奖励KL约束有闭式解。 最优Policy可以用Reference Policy和Reward函数直接表达。 反转关系如果某个Policy最优Reward函数就可以用 Policy和Reference的比值反推。 DPO的做法把Reward代入Bradley-Terry偏好模型 Reward就消失了——只剩Policy的比值和偏好标签。 不需要训练RM不需要PPO的滚动策略交互。 代价DPO是offline的——不能像PPO在训练中探索新回答。 效果强烈依赖偏好数据质量。11.2.4 “ZeRO的三个阶段分别省什么”ZeRO解决的核心问题显存大部分被优化器状态占着不是参数本身。 ZeRO-1只分片优化器状态Adam动量和方差 → 每卡存1/N → 显存省约4倍。通信量不变。 ZeRO-2分片优化器梯度 → 显存再省2倍。通信从all-reduce变reduce-scatterall-gather。 ZeRO-3分片优化器梯度参数 → 显存省约N倍。但每步前向反向都需all-gather参数。 实际选型ZeRO-2性价比最高——显存节省大、通信增加少。 ZeRO-3通常和TP配合使用。11.2.5 “为什么FlashAttention能加速”传统Attention的问题对HBM的读写太多。 QK^T结果要从SRAM写回HBMsoftmax再从HBM读到SRAM 和V加权又要写回。一个Attention层要和HBM多次往返。 FlashAttention的核心洞察 不要让数据来回跑——把它们分块在SRAM里算完再写回。 具体做法 1. Q/K/V分成小块 2. 每个块在SRAM速度~20×HBM里算局部Attention 3. online softmax——不需要等完整归一化 4. 合并各块结果 效果HBM读写减少到1/N端到端加速2-4倍。 而且不影响精度——数学上等价。 11.2.6 “Scaling Law告诉我们什么”Scaling Law的核心发现 一、模型效果和参数量、数据量、计算量正相关。 关系是幂律——每次翻倍带来稳定但递减的收益。 二、Chinchilla发现最优计算分配是参数:数据≈1:20。 7B模型应配约140B tokens。 推翻了GPT-3更多参数、更少数据的观念。 三、意味着预算有限时不要只堆参数——数据同样重要。 很多开源模型的问题就是参数大但数据不够实际上欠训练。 11.2.7 “MHA/GQA/MQA的关系”这是注意力架构的演进路线 MHA每个头有自己的Q/K/V投影 → 效果好KV-Cache大 MQA所有Q头共享一个K/V → KV-Cache极小精度下降明显 GQAQ头分g组每组共享一组K/V → 平衡 一句话GQA是MHA质量和MQA效率的折中。 LLaMA-2 70B用GQA-8。 DeepSeek-V2更进一步用MLA—— 不分组压缩K/V到低维空间KV-Cache再减95%。11.2.8 “GQA的KV-Cache到底省多少给个数”来算一笔账 MHA每层KV-Cache 2×b×h×d_k×seq_len h32, d_k128, b1, seq_len4096 → 每层 2×1×32×128×4096 32MB GQA-8每层 2×1×8×128×4096 8MB GQA-8比MHA省4倍。32层模型MHA约1GBGQA-8约0.25GB。 11.2.9 “什么是LLM-as-Judge有什么问题”LLM-as-Judge用一个LLM评估另一个LLM。 三种方式Pairwise、单点评分、参考标准评分。 最大问题是偏误 一、Position BiasA放前面和B放前面结果可能相反 → 交换顺序评两次 二、Narcissus BiasJudge更喜欢和自己风格相似的回答 → 换不同模型做Judge 三、Length BiasJudge倾向给更长回答更高分 → 评分标准中明确简洁性权重 它不是完美的但是在人工评测太贵、自动指标太差 之间最好的折中。关键是知道局限并回避。11.2.10 “RAG中Chunk大小怎么定”通用经验值256-512 tokens。 太小(100)缺乏上下文太大(1000)噪音多。 但固定长度不是最好的——更好的做法是语义切分 按段落、标题、句子边界切保持语义完整性。 易忽视的点chunk大小要和Embedding模型匹配。 大多数Embedding模型在512 tokens左右效果最佳 超出长度检索质量反而下降。11.2.11-11.2.16 快速话术要点问题回答框架“Agent和RAG什么关系”RAG是Agent的一个工具Agentic RAG让Agent动态决定检索策略“项目效果怎么评估”三层核心指标→错误分析→消融实验“方案有什么局限”三个局限核心失效场景天花板trade-off“DeepSeek-R1的GRPO”用组内均值/标准差替代Value Model去掉Value Model“MoE了解多少”三个设计点路由策略负载均衡通信效率“Pre-LN为什么用它”梯度恒等项保证不消失可以不warmup11.3 展示知识网络的连接话术面试中主动展示跨概念联系是加分信号。可以随口抛出的金句这和ZeRO思路类似——都通过分组减少内存 GQA在模型架构层面做ZeRO在训练框架层面做。 KV-Cache贯穿整个体系—— 从Attention计算→GQA减少缓存→vLLM管理→量化压缩 没有一个环节是孤立的。 RLHF→DPO→GRPO的演进本质是减少组件。 RLHF要4个模型DPO去掉了RMGRPO去掉了Value Model。 如果从工程角度看本质上是在质量-速度-成本三角中做取舍。 MHA/GQA/MQA/MLA都在找这个三角形的最优解。主动延伸钩子回答完主问题后主动抛出延伸……如果面试官感兴趣我可以讲KV-Cache的显存计算细节。 ……这里有一个很有意思的工程权衡可以深入分析。 ……这个问题还有另一个角度——从训练看compute-bound 从推理看memory-bound优化思路完全不同。11.4 不会时的结构化回答遇到知识盲区最忌讳这个我不太清楚然后沉默。标准模板这个具体细节我记不太清了 但根据我对XX原理的理解它的逻辑应该是…… 因为我之前在做YY项目时接触过类似的设计 区别在于…… 三要素 1. 诚实说不知道建立信任 2. 展示推理过程展示分析能力 3. 给面试官纠正的机会保持互动示例被问不熟悉的论文面试官你知道Mamba吗和Transformer的区别 我没有深入精读Mamba论文 但基于对序列建模的理解它应该试图在保持线性复杂度的同时 达到接近Attention的表达能力。 核心是用状态空间模型SSM替代Attention 用选择性机制做上下文感知的选择。 如果理解有偏差麻烦您指正。示例被问不熟悉的框架面试官你用vLLM部署过吗 我没在vLLM上做过部署 但理解它核心是PagedAttention——虚拟内存思想管理KV-Cache。 我们团队用的是TGI。两个工具底层逻辑相通 给我周末时间应该能快速上手。11.5 追问应对策略追问类型与应对追问类型考察什么应对策略“为什么”理解本质说出设计选择的原因“和XX比呢”对比分析能力横向对比优缺点“具体数字”量化思维给具体计算过程“边界情况”考虑全面分析极端场景“改进思路”创新思维提出未来方向追问循环模拟Q: 说一下Attention A: ...QK^T/√d_k Q: 为什么除以√d_k ← 追问1 A: d_k大时点积方差大softmax饱和… Q: d_k64时方差具体多少 ← 追问2量化 A: Var64std8除以√648恢复方差到1 Q: 除以d_k可以吗 ← 追问3比较 A: 不行——Var1/d_k方差太小softmax太平 Q: 不缩放会怎样 ← 追问4边界 A: softmax饱和梯度≈0模型无法有效训练 → 展现了理解本质、能计算、知道边界11.6 场景设计题回答框架四步法第一步澄清需求1-2分钟 目标是什么准确率优先还是延迟优先 数据规模和用户规模 资源限制GPU数量、内存预算 第二步整体架构2分钟 画系统架构图 分成三层数据层、模型层、应用层… 第三步关键设计决策3分钟 每个决策说出trade-off 选XX方案因为此场景YY更重要。 代价是ZZ受影响但可以接受因为… 第四步边界情况和容错1分钟 当XX发生时系统怎么降级 工具调用失败怎么办 长尾query怎么处理11.7 反问环节的10个高质量问题面试结束时你有什么要问我的——这是展示深度的最后机会。问题展示什么“团队目前在做的最有挑战的LLM问题是什么”对技术挑战的关注“模型从研究到上线通常经过哪些阶段”对工程落地的理解“团队在推理优化方面主要投入在哪些方向”对技术方向的兴趣“团队如何平衡技术探索和交付压力”对工程管理的理解“对于新人团队有什么样的成长路径”对长期发展的关注“团队目前用的技术栈和基础设施是怎样的”对实际工作的关注“当前模型效果最大的瓶颈在哪个环节”对系统思维“团队怎么做技术选型有没有踩过什么坑”对经验学习“未来半年团队最希望解决的问题”对目标的关注“您的团队和其他团队如数据/产品怎么协作”对跨团队合作11.8 各公司面试风格微调公司风格偏好调整策略字节跳动重视代码能力算法题难手撕代码准备充分八股文要深入阿里巴巴重视落地经验和系统设计多讲项目经验和工程权衡腾讯重视学术背景和论文理解准备论文细节和创新点DeepSeek重视研究深度和创新展示对前沿的理解和思考百度重视基础扎实基础概念要扎实不要跳步美团重视业务场景将技术和业务结合讲11.9 踩坑实录Top10排名踩坑正确做法1回答太长太啰嗦先给结论面试官追问再展开2只说概念不说数字准备关键数字参数量/显存/速度3不会就沉默用结构化模板展示推理过程4被追问就慌追问是好事说明面试官感兴趣5项目介绍像流水账用问题-方案-效果-反思结构6不主动建立知识联系主动展示跨概念联系7只讲优点不讲局限主动说局限展示批判性思维8背诵式回答用理解-推理-结论模式9不复述问题复述确保理解一致争取思考时间10反问环节说没有问题准备2-3个高质量问题11.10 项目介绍黄金结构1. 一句话概述30秒 我在XX项目中负责YY模块目标是ZZ。 2. 问题定义30秒 核心挑战是…… 难点在于…… 3. 方案设计2分钟 整体方案分三层…… 关键设计决策是XX因为YY…… 4. 效果与数据1分钟 上线后核心指标提升了XX% 对比baseline在YY维度上有显著提升 5. 反思与迭代30秒 回头看最大的教训是…… 如果重新做我会改变……关键原则用数字说话避免模糊描述突出个人贡献而非团队工作展示决策过程而非只展示结果承认不足展示成长补充自我介绍模板应届硕士模板面试官您好我是XX大学计算机专业硕士研究方向是NLP/大模型。 研究工作方面我的硕士课题围绕[具体方向]在[会议/期刊]发表了X篇论文。 其中代表性工作是用[方法]解决了[问题]核心创新点是[一句话描述]。 实验在[X数据集]上达到了[SOTA/XX%提升]。 项目实践方面在[公司名]实习期间我负责了[项目名] 用[技术栈]实现了[功能]最终[量化成果如准确率提升X%/延迟降低X%]。 技术栈方面熟悉PyTorch、Transformers、vLLM等工具 有[X]张GPU的训练经验熟悉分布式训练和数据并行。 我对贵团队的[具体方向]很感兴趣希望能将我的研究经验应用到实际产品中。时间控制1.5-2分钟。关键词研究能力、工程能力、学习能力。社招3-5年模板面试官您好我在[公司]做大模型相关的工作X年经验。 最近在做的一个项目是[项目名]目标是[一句话目标]。 我在其中负责[具体职责]用[核心技术方案]解决了[核心挑战]。 最终[量化结果]。 之前的工作经历中我先后在[公司A]和[公司B]做过 - [项目1]: [技术][成果] - [项目2]: [技术][成果] 技术上我比较擅长[方向1]和[方向2] 在[领域]有从0到1再到落地的完整经验。 关注到贵团队在[方向]上做得很好我对[具体问题]特别感兴趣。时间控制2-3分钟。关键词落地经验、技术深度、业务理解。转行/跨方向模板面试官您好我之前的背景是[原方向]最近一年系统转向大模型方向。 转行的契机是[简述原因]之后我通过以下方式建立能力 - 系统学习了[课程/书籍] - 复现了[论文/项目] - 在[平台]上完成了[具体项目] - [如果有]在开源社区贡献了[具体内容] 我的原方向经验在[某方面]是可以迁移的 比如[具体举例数据处理经验/工程架构经验/数学基础等]。 我深知自己在[某方面]还需要补足但我的学习能力和适应能力 在[之前的经历]中已经得到验证——[举例]。时间控制1.5-2分钟。关键词学习能力、迁移价值、自驱力。追问转行面试最容易被挑战的点是什么“你觉得你的竞争力在哪里” 回答策略(1) 不回避差距承认在[某方面]不如科班(2) 强调差异化优势——原领域经验带来的独特视角(3) 用具体项目证明学习能力(4) 表达长期投入的决心。补充项目经验STAR法则示例STAR法则框架Situation(背景): 什么场景/什么需求/什么约束 Task(任务): 你的具体职责和目标 Action(行动): 你做了什么、为什么这么做、遇到什么困难、怎么解决 Result(结果): 量化成果 学到了什么示例RAG系统优化项目S: 公司的知识库问答系统上线后用户满意度只有60% 主要问题是回答不准确幻觉率高和响应慢P99延迟8秒。 T: 我负责将回答准确率从65%提升到85%以上延迟降到3秒以内。 A: 我做了三件事 1. 检索侧将单路向量检索改为Hybrid(DenseBM25RRF) 并引入BGE-Reranker做二阶段重排序。 这一步将检索召回率从72%提升到89%。 2. 生成侧将Chunk大小从256调到512增加上下文 加入Self-RAG机制让模型判断是否需要额外检索。 幻觉率从35%降到12%。 3. 延迟侧引入语义缓存Redis 模型从30B降到7BINT4量化。 延迟从8秒降到2.5秒。 R: 准确率从65%提升到87%超过目标延迟P99从8秒降到2.5秒。 项目上线3个月用户满意度从60%提升到82%。 最大的教训是检索质量对RAG效果的影响远大于生成模型的大小。示例模型训练项目S: 团队需要将一个开源7B模型适配到金融场景 客户给了5000条标注数据要求F185%。 T: 我负责微调方案设计和实施目标是在有限数据下达到最优效果。 A: 我对比了三条路线 1. 全参SFT效果最好但需要8卡A100成本高且在小数据集上过拟合 2. LoRA(r16)SFT效果接近全参但只需2卡最终选择 3. Prompt EngineeringbaselineF1只有72% 最终方案LoRA(r16, alpha32) 数据增强(回译同义替换到15000条) Early Stopping(监控验证集loss) 遇到的困难LoRA在金融术语上表现差——解决额外收集了2000条术语相关数据 用加权采样提高这类数据的训练权重。 R: F1从baseline 72%提升到88%超过目标。 模型部署后推理延迟200ms满足线上要求。补充技术深度展示话术如何展示我不仅会用还理解原理模式1: 我用过X也研究过它的实现 例我不仅用vLLM部署过模型还读过PagedAttention的论文 理解它如何通过block table将KV Cache分页管理类似OS虚拟内存。 这使得KV Cache的碎片率从60-80%降到4%。 模式2: 我做过A/B对比发现了X 例我对比过FlashAttention-1和FlashAttention-2的实现 发现FA-2主要改进了work partition策略减少了non-matmul的工作量 在A100上比FA-1快了约20%。 模式3: 我遇到过X问题通过Y解决的 例训练时遇到过loss spike排查发现是学习率warmup不够—— 模型在初期梯度不稳定导致某些参数更新过大。 加了200步linear warmup后问题解决。如何展示我有全局视野模式1: 技术选型决策 选型时我对比了X和Y选择X是因为[场景特定原因]。 如果场景变成[另一种]我会选Y因为[另一个原因]。 模式2: 技术趋势判断 我认为[某技术]会成为主流因为[原因1][原因2]。 但也存在[局限]可能需要[某方向]的突破。 模式3: 端到端思考 这个任务从数据收集到模型训练到部署上线 我参与了全链路。最大的瓶颈其实在[数据/工程/评估]环节 而不是模型本身。本章要点速查模块核心要点重要度三层框架直觉→原理→网络5星高频话术16个问题的进阶答法5星知识网络主动展示跨概念联系4星不会时应对诚实推理互动4星追问应对5种追问类型的策略4星场景设计四步法框架4星反问环节10个高质量问题3星公司风格各公司偏好调整3星踩坑避免Top10常见错误3星项目介绍黄金结构5步4星
