校招季又到了每年这个时候我都会帮学弟学妹们看一批笔试题其中网易的深度学习系统实习生岗位笔试一直很有代表性。这个岗位有意思的地方在于它既不是纯算法岗也不是纯工程岗而是卡在两者之间的“系统”方向——既要懂模型训练的基本原理又要懂框架底层和性能优化。2018年这批题目放在今天看很多考点依然是面试高频题而且非常能反映国内大厂对深度学习系统人才的能力预期。这篇文章我就结合当年的题目把这类笔试的核心考点、典型题目、解题思路和准备路径完整拆开给准备投这类岗位的同学一个可参考的复习框架。先说清楚这类岗位到底在招什么人。深度学习系统实习生日常干的活大概分成三块一是训练框架的二次开发和性能调优比如给PyTorch写自定义算子、优化分布式训练时的通信瓶颈二是模型上线前的推理优化比如量化、剪枝、算子融合三是支撑平台的基础建设比如数据管道、模型版本管理、GPU资源调度。所以笔试考察的范围非常明确编程基础、深度学习原理、系统/并行知识、框架机制理解。算法题考得相对基础但系统类的概念题一定扎扎实实铺一大片。1. 笔试全貌与考点地图1.1 这类笔试主要考察哪些能力维度网易这套笔试题型的构成是选择题涵盖机器学习、深度学习、操作系统、网络、数据结构、编程题基本是LeetCode中等难度的算法题、以及一部分简答/设计题。整体风格务实不玩偏题怪题但覆盖面广想在有限时间内拿到高分必须对各知识点有体系化理解而不是死记硬背。深度学习系统实习生和普通算法实习生最大的区别在于算法岗笔试重点考察模型设计能力和损失函数调参技巧而系统岗除了基础模型知识外还会重点问“训练过程中GPU显存是怎么分配的”“数据加载为什么会成为瓶颈”“多机多卡训练梯度怎么同步”这类工程问题。这意味着你不仅要会用框架还要理解框架内部发生的事情。另一个容易忽略的考点是数学基础。线性代数几乎是必考项矩阵乘法、特征分解、SVD、逆矩阵求解这些在深度学习里都有直接应用。概率统计同样重要因为批量归一化、Dropout、正则化这些操作背后都是统计理论。复习时如果时间有限优先把线代里矩阵运算相关性质吃透把概率论里期望方差、常见分布、极大似然估计搞熟。1.2 岗位方向决定复习侧重点现在各大厂的深度学习系统团队业务方向可以粗略分成几类训练框架团队如TensorFlow/PyTorch源码级开发、推理优化团队模型压缩、部署引擎、数据/调度平台团队管理GPU资源、数据流水线。不同团队的笔面试侧重点会有差异但共通点是都要求你在“深度学习系统”的交叉地带站稳。结合网易当年这题的特点我认为最核心的复习优先级排序是Python编程能力基本功必考、深度学习核心概念笔试出现频率最高、机器学习基础理论常考、框架底层机制面试重点、操作系统与网络选择题主力、GPU计算基础加分项。按这个优先级去分配复习时间性价比最高的复习顺序是先保证Python刷题和深度学习基础扎实有余力再深挖系统知识。2. 深度学习基础与框架原理高频题2.1 反向传播与计算图推导是硬功夫深度学习核心选择题里反向传播是绕不开的主题。常见考法有两种一是给出一个具体的计算图比如 f(x, y) (x y) * (x - y)让你手动求梯度二是问梯度消失和梯度爆炸的成因以及解决方案。手动推梯度这类题没有捷径就是链式法则一步步展开。练的时候我建议至少能手推十几个不同结构的计算图简单的线性层到卷积、LSTM、BatchNorm、残差结构。很多同学容易在处理BatchNorm反向传播时出错因为BN在训练时有两个分支一个用于归一化当前batch并计算梯度另一个用滑动平均更新全局统计量正向和反向的流程不同一不留神就会写出错误公式。梯度消失和爆炸是常考概念题。核心要抓住几个关键sigmoid/tanh这类饱和激活函数在输入绝对值较大时导数趋近于0多层连乘导致梯度指数级衰减这是梯度消失的典型成因梯度爆炸则多出现在深层网络和RNN中因为循环结构共享参数梯度在时间步上反复相乘一旦超过1就容易指数放大。解决方案从几个层面答激活函数层面用ReLU族缓解消失权重初始化用Xavier/He方法控制方差网络结构上使用残差连接skip connection为梯度提供“高速公路”归一化层面用BatchNorm/LayerNorm稳定中间层分布梯度裁剪gradient clipping则是应对爆炸的兜底策略。2.2 CNN和RNN不只是知道概念就能过针对CNN的笔试题目最常见的是让你计算卷积输出的feature map尺寸。公式本身不难output_size (input_size - kernel_size 2*padding) / stride 1。但题目往往不会直接给全条件而是会在padding模式上挖坑比如“same”模式到底怎么补零或者stride为2时余数怎么处理。做题时建议先画个简单的输入输出对照表避免凭感觉直接套公式。另一个高频考点是感受野的计算。感受野可以理解为输出特征图上每个像素对应原始输入图像上多大的区域。计算公式是递推式的RF_{i} RF_{i-1} (kernel_size_i - 1) * stride_{前几层的乘积}。实际笔试题通常会问“两个3x3卷积叠加的感受野是多大”答案是5x5——这个考点考察的是对卷积核堆叠能否替代大卷积核的理解也是后面理解VGG、ResNet等经典网络结构设计动机的基础。RNN部分常考的是LSTM的门结构以及为什么LSTM能缓解梯度消失。这里的核心在于LSTM引入的cell state这条“传送带”它通过遗忘门和输入门控制信息流的增减。由于cell state的梯度路径上有加法操作梯度可以高效地反向传播而不会在每一步都乘以一个小于1的矩阵因此缓解了RNN中常见的梯度消失问题。回答这类问题时最好把门的计算公式写出来再结合梯度路径画个示意图能显得你对机制理解的层次更深。2.3 损失函数与优化器经典对比题关于损失函数笔试中反复出现的是交叉熵和均方误差的对比。一个高频场景分类问题为什么用交叉熵而不是MSE关键在于softmax和交叉熵的组合在数学上形成了非常简洁的梯度形式——预测概率与one-hot标签之间的差这个梯度形式天然解决了输出层饱和导致学习缓慢的问题。如果使用MSE加上softmax梯度会多乘一项 sigmoid(z) σ(z)(1-σ(z))当预测值接近0或1时梯度几乎为0学习会非常缓慢。优化器方面重点考察SGD、Momentum、RMSProp、Adam的原理和适用场景。SGD的问题是更新方向完全由当前batch梯度决定在损失曲面是“窄长山谷”形状时来回震荡收敛慢Momentum的思路是引入历史梯度的指数加权平均相当于给更新过程加了惯性可以冲过局部极小值并抑制震荡RMSProp对不同参数自适应调整学习率除以梯度平方的滑动平均对稀疏特征和不同尺度的参数更友好Adam则是Momentum RMSProp的组合还加入了偏差修正是目前最常用的默认优化器。笔试中如果问“为什么Adam经常需要调低学习率”是因为Adam的自适应学习率机制在某些问题下会导致更新步长偏大而Adam自身还包含一阶动量的累积两者叠加会让有效步长过大所以通常需要辅助warmup或降低初始学习率来稳定训练。3. 系统与工程能力考察点分析3.1 数据并行与模型并行分布式基础避坑指南深度学习系统岗笔试最有特色的一块就是分布式训练。最容易考的是数据并行。数据并行的基本思想是每个GPU/worker持有模型的一份完整副本各自处理不同的batch数据前向和反向各自计算得到梯度然后通过AllReduce操作把梯度同步最后所有节点用平均后的梯度更新模型。笔试题如果考到“梯度同步为什么是性能瓶颈”需要从通信量角度分析。假设模型有1亿个参数400MB如果使用参数服务器架构每个节点都要把自己的梯度发给server同步通信量随节点数线性增长。而AllReduce算法如Ring-AllReduce则巧妙地把通信量从O(N)降低为约O(2*(N-1)/N * M)基本与节点数无关通信总量随规模线性增长但速度为常数。这也是为什么现代训练框架都使用NCCL的Ring-AllReduce而不是最初的参数服务器。模型并行出现频率低一些但偶尔会考比如“TensorFlow中device placement如何设置”——这类题本质是考察你是否理解模型的不同层可以切分到不同设备上每层之间通过通信传递中间激活值。这里有个隐含考点模型并行通常比数据并行效率低因为它把一个个串行依赖的算子放到了不同设备上设备之间的通信是同步阻塞的设备利用率很难跑满。所以实践中以数据并行为主、模型并行作为大模型显存放不下时的补充策略。3.2 CUDA与GPU编程哪些必须懂对实习岗来说CUDA不要求能写出高性能kernel但基本概念必须清楚。最常见的是GPU内存体系比如全局内存Global Memory、共享内存Shared Memory、寄存器Register的区别和访问速度差异。共享内存是片上存储延迟远低于全局内存因此kernel设计中把频繁访问的数据放到共享内存里是一个重要优化策略。另一个高频概念是线程层次结构Grid、Block、Thread。笔试题目会问“一个Block中最多能有多少线程”——旧答案是512或1024取决于硬件代际。这个知识点在工程中的实际意义是当你设计一个深度学习算子时必须考虑每个Block的线程数上限以及共享内存大小限制因为二者直接决定了一个Block能处理多大的tile。如果题目中给出了矩阵大小和Block大小让你算Grid需要多少个Block属于送分题但要警惕是否需要处理边界条件比如矩阵维度不是Block维度的整数倍。3.3 推理优化与模型压缩系统岗加分项这部分是容易被低估的考点但如果笔试中出现写好了非常加分。模型压缩的几个手段权重量化Weight Quantization、激活量化Activation Quantization、知识蒸馏Knowledge Distillation、剪枝Pruning和低秩分解Low-rank Factorization。笔试一般以概念题出现比如“量化后模型的推理速度为什么会提升”或者“int8量化会带来精度损失怎么缓解”。对于推理速度提升的原因要从算力和内存带宽两个角度答低精度INT8指令在GPU上吞吐量通常比FP32高一倍以上同时模型体积变小内存带宽压力降低尤其对于内存密集型算子如逐元素操作带宽优化效果非常显著。缓解精度损失的手段包括量化感知训练QAT在训练中模拟量化过程、逐通道缩放因子、混合精度量化敏感层保留FP16/FP32。剪枝题常涉及“结构化剪枝和非结构化剪枝的区别”。非结构化剪枝细粒度权重置零压缩比高但稀疏性不规则实际推理时对硬件不友好需要专门的稀疏kernel支持结构化剪枝比如剪掉整个channel或整个block规则性强可以直接借助现有框架加速。这个知识点其实就是深度学习系统岗为什么需要硬件-算法协同设计的典型体现。4. 编程题与数据结构实战策略4.1 笔试题风格与刷题优先级网易当时编程题风格偏向LeetCode中档难度不会出特别偏门的竞赛题。时间限制大约两小时编程题大概2到3道基本是数组、字符串、链表、二叉树这个范畴的题目。考察重点不是“是否见过这道题”而是“是否能快速写出无bug、有一定鲁棒性的代码”。我认为刷题优先级是数组和哈希表最高频、二叉树遍历DFS/BFS派生题、链表操作反转、合并、找环、双指针/滑动窗口考频很高、动态规划基础题背包、最长子序列。图论、线段树、数论等进阶内容对面试中的笔试环节来说性价比不高可以等过了笔试再针对性补。4.2 稳拿编程题分数的三个原则第一个原则是拿到题目先明确输入输出约束范围特别是数据量级。如果n在10^5级别O(n^2)可能过不了如果n在100左右暴力解法反而更容易写对。这个判断直接影响解法选择建议平时刷题就养成看约束的习惯。第二个原则是代码必须可读、整洁关键边界条件写清楚注释。笔试是人工阅卷代码风格会影响评分印象。变量名尽量语义化不要用i、j、k从头写到尾也不要追求一行流的“技巧型代码”——在时间压力下写出难以维护的代码是对自己的不负责。第三个原则是优先用Python解题。笔试环节Python简洁的语法能节省大量时间尤其是处理字符串和字典操作时比C/Java节省大约30%的编写时间。要留意Python中的深坑默认参数机制、可变对象的引用传递、整型除法运算符“/”的坑不要忘记它返回浮点。如果题目核心是复杂算法建议先用Python写好逻辑再手推个测试用例验证一次。5. 备战路线与笔试题复盘方法5.1 八周复习规划参考第一周深度学习理论快速扫盲。复习前向传播、反向传播、常见激活函数、损失函数、优化器推导。这阶段可以选一本经典教材比如花书或邱锡鹏老师的书带着问题看每天做5道概念自测题。第二周系统与框架知识。系统学习TensorFlow/PyTorch的核心机制自动求导的实现思路、静态图和动态图的差异TensorFlow 1.x与PyTorch的典型对比了解NCCL、GPU内存管理、数据加载流程。有条件的话可以阅读PyTorch源码中autograd相关的关键文件。第三周操作系统和网络基础。重点看进程线程、死锁条件、虚拟内存、TCP三次握手四次挥手、HTTP状态码。网易当年的选择题里这部分的密度不低而且基本是原题复现属于拿分性价比最高的板块。第四周机器学习经典算法。过一遍逻辑回归、SVM、决策树、随机森林、GBDT的推导和应用场景。重点理解这些模型和深度学习的区别与联系笔试里经常会问“LR为什么可以用softmax激活函数”这类看似简单但细想容易丢分的题。第五周至第七周LeetCode分类刷题。按前面建议的优先级每类题目练透至少20道总共完成100道左右。这个阶段最重要的一点是做过的题要复盘记录自己卡在哪里而不是追求刷题数量。第八周模拟笔试。严格按两个小时的时间限制做整套往年题锻炼时间分配能力。做不完也没关系关键是搞清楚哪类题型花费时间最多考试时就能策略性跳过。5.2 刷题复盘的独门笔记法我个人的经验是不要按题号整理错题而是按“考点错误原因”双维度建索引。比如“链表反转 —— 忘记处理头节点”“动态规划 —— 状态转移方程边界条件写错”。考试前只看索引快速回忆每类坑的解法效率远高于重新刷一遍错题。这个方法在面试前突击复习时也很好用。5.3 笔试过程中的策略要点时间分配上可以参考选择题控制在40分钟内完成编程题每道留40分钟以上。选择题遇到半天算不出来的数学题先标记跳过不要在一道题上死磕——选择题分值有限编程题一道就是几十分。编程题做题顺序也有讲究先扫描所有题目选最有把握的先做保证保底分再做第二有把握的最后挑战难题。不要按题目顺序死磕到底校招笔试的时间压力比想象中大。如果某道题思路卡住超过15分钟果断放弃写暴力解或者部分用例能拿多少分算多少分。6. 真实经验分享与后续规划建议我在给团队筛选实习生简历时发现一个现象很多同学的简历上写了“熟悉PyTorch/TensorFlow”但问到“PyTorch的autograd是怎么自动求导的”答不上来。深度学习应用的开发门槛已经被框架拉得很低但系统岗的工作恰恰需要你了解框架内部如何工作。如果你是准备投系统方向的实习哪怕笔试过了面试阶段也一定会深挖框架原理这部分要提前准备。另外一个建议是尽量自己动手做一两个小而完整的系统级实验。比如用PyTorch写一个简单的自定义算子或者用NCCL跑通多卡数据并行训练并对比不同AllReduce实现的性能差异。这些实验写在简历上比“使用过PyTorch训练过分类模型”有说服力得多。面试官真正想确认的是你有没有自己解决过系统层面的问题而不只是调包调参。最后再分享一个小技巧笔试前把目标公司近三年的笔试题都找出来做一遍哪怕找不到完整答案。大厂的笔试出题风格每年会有惯性往年题目的考察方向往往就是今年出题的重要参考。就像网易这套深度学习系统实习生的题目虽然已经是2018年的但核心考点放到今天依然是面试选择题的重灾区。把这份考点了然于胸再去面对最新的笔试你会发现题目怎么变都跑不出这个框架。