ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

MIT线性代数笔记:从列空间到SVD的完整学习指南

MIT线性代数笔记:从列空间到SVD的完整学习指南 简介这份 MIT 公开课线性代数笔记以 1 份 PDF 形式打包共 506KB面向正在学习线性代数的本科生、考研复习者及希望巩固数学基础的计算机与工程领域读者。内容系统梳理了课程中的核心章节从方程组的几何解释、矩阵消元、LU 分解到四个基本子空间、正交投影与最小二乘再到特征值特征向量、对角化及奇异值分解SVD等基本覆盖了 MIT 线性代数课程的主干知识。笔记按专题分层记录适合作为课堂外的速查手册也可配合原视频逐步对照学习帮助理解抽象概念背后的几何意义和实际应用。目前已有 1073 人学习下载是入门到进阶阶段一份轻量而实用的复习资料。 真正让我决定把 MIT 线性代数笔记系统化整理成 PDF 的是研究生阶段一次组会。当时导师让我讲一篇带矩阵分解的论文我自认为课本知识背得滚瓜烂熟结果一上台才发现脑子里全是一堆孤立公式矩阵乘法的几何意义、子空间的映射关系真到了要给人讲清楚的时候一个都串不起来。后来我用两周时间把 Gilbert Strang 的 MIT 18.06 公开课完整重刷了一遍边看边做笔记再把这些内容按自己的理解重新组织最终产出了那份标题里提到的笔记 PDF。这份笔记核心就是“MIT 公开课-线性代数笔记.pdf”全称对应的是 MIT OCW 上 Strang 讲授的线性代数课程《Linear Algebra》课程编号 18.06。它解决的问题非常具体把传统教材里被人为割裂的“计算”和“几何直觉”重新缝合起来。适合三类人看——第一次学线性代数但被教材搞晕的本科低年级学生准备考研、复试或编程面试需要快速捡起线代核心的求职者以及像我一样需要用线性代数做科研或工程但基础不牢的研究生。1. 为什么 MIT 线性代数值得系统性啃一遍1.1 这门课解决的学习痛点传统线性代数教材容易把学生带进两个坑一个是上来就灌行列式、伴随矩阵、逆矩阵的公式学生算了十道题也不知道这到底在干嘛另一个是把向量空间讲成抽象公理化体系例题全是字母证明完全没有数字实例。Strang 这门课最值钱的地方就是抓住了线性代数的两条主线矩阵的列视角和向量空间的映射视角并且全程用具体矩阵搭配几何图形来讲。我最初看第一讲时就被一个细节击中讲到 Axb 时Strang 不是从行视角两个方程两条直线求交点出发而是反复强调列视角——把 A 看成若干列向量的排列Ax 就是对 A 各列的线性组合。这个看似简单的视角转换直接打通了后面所有章节。线性方程组有解、无解、唯一解本质就是 b 是否落在 A 的列空间里。这个认知比背十几条判别定理有用得多。1.2 课程全貌与适合人群MIT 18.06 全课程大约 35 讲每讲 45 到 50 分钟配套教材是 Strang 自己写的《Introduction to Linear Algebra》现在一般用第 5 版。内容覆盖了本科线性代数的全部核心矩阵消元与 LU 分解、四个基本子空间、正交性与投影、最小二乘、行列式、特征值与特征向量、对角化、以及最后的奇异值分解。适合啃这门课的人群我总结下来有三类。第一类是正在学线性代数但“听得懂课、做不对题”的在校生课程里大量例题能补上教材缺失的过渡步骤。第二类是准备面试或考研复试的人尤其是算法岗、图形学、数据科学相关的面试特征值分解和 SVD 是高频考点Strang 的讲法能让理解层面超过大部分人。第三类是已经工作但想重构知识体系的工程师把零散的记忆统一到一个几何框架里。2. 核心知识框架拆解抱起 Strang 的课堂逻辑2.1 矩阵消元与矩阵乘法用列视角建立直觉很多人在高斯消元法上花了不少时间但对“消元矩阵”这个概念没概念。Strang 的讲法是高斯消元每一步都可以用一个左乘矩阵 E 来表示比如要把第二行减去第一行的两倍相当于在 A 的左边乘一个初等矩阵 E。一连串消元步骤串起来就是把 A 变成上三角矩阵 U也就是EA U如果再考虑行交换就要引入置换矩阵 P。最终能写出 PA LU其中 L 是对角线为 1 的下三角矩阵。这个 LU 分解的价值我后来在工程里才真正体会到它是所有线性方程组数值求解的基础算法也是很多矩阵库中求解 Axb 的默认路径。关于矩阵乘法Strang 反复强调的就是四个视角行视角、列视角、行与列外积的求和、以及分块乘法。其中列视角对理解后面内容最关键。举个例子A [[2, 1], [1, 3]]x [3, 1]ᵀ那么 Ax 3 * [2, 1]ᵀ 1 * [1, 3]ᵀ [7, 6]ᵀ。这么看矩阵乘向量就是“各列按 x 的分量做线性组合”。想验证任何结论直接在 Python 里用 numpy 算一下就清楚import numpy as np A np.array([[2., 1.], [1., 3.]]) x np.array([3., 1.]) print(A x) # [7. 6.]2.2 四个基本子空间给线性代数画一张地图这门课最容易让初学者“破防”的应该是四个基本子空间。Strang 在课堂上反复画那张经典的 A 矩阵四格图把 m×n 矩阵 A 的行空间、列空间、零空间和左零空间全部放进去。我当时把这页图抄了三遍才终于看懂这张图到底在说什么。对于一个 m×n 的矩阵 A设秩为 r则四个子空间的维数关系是子空间定义维度列空间 C(A)A 各列的线性组合r零空间 N(A)Ax0 的所有解n-r行空间 C(Aᵀ)A 各行的线性组合r左零空间 N(Aᵀ)Aᵀy0 的所有解m-r理解这张表的钥匙在于矩阵乘法的本质是“映射”A 把 n 维空间中的向量映射到 m 维空间。映射过程中n-r 维的向量被压缩到零零空间剩下的 r 维则正好铺满 A 的列空间。行空间和零空间在定义域里正交列空间和左零空间在值域里正交。这个“映射”思维一旦建立起就很难忘掉。之后看最小二乘、伪逆、SVD都能回到这张图上。2.3 正交、投影与最小二乘从理论到数据拟合讲完子空间Strang 马上引入正交和投影。投影矩阵的公式是 P A(AᵀA)⁻¹Aᵀ。这个公式第一眼看很吓人但它的几何含义很简单把某个向量 b 垂直投影到 A 的列空间上让误差向量 eb-p 与列空间正交。整个推导的转折点在于Axb 在无解时怎么办——这是我们现实中绝大多数数据的处境。测量点数量多于待估参数时方程组超定通常不存在严格解。Strang 的做法是两边同时左乘 Aᵀ得到正规方程 AᵀAx Aᵀb。这个方程的解就是最小二乘解。只要 A 各列线性无关AᵀA 就可逆解唯一。我当时对“为什么偏偏要左乘 Aᵀ”这个操作困惑了很久。Strang 的答案就是正交性我们希望残差 e 与列空间垂直而“e 与 A 的所有列都正交”等价于“Aᵀe0”代入 eb-Ax 就自然推出了正规方程。这套逻辑比单纯背公式要深刻得多之后我做线性回归、曲线拟合时都是直接按这个思路推基本不会出错。2.4 特征值与奇异值连接线性代数与实际应用特征值部分是整门课的高潮。Strang 从微分方程和马尔可夫矩阵切入用一阶常系数线性微分方程组说明“如果能把矩阵对角化解耦就在一瞬间完成”。对 n×n 方阵 A若存在可逆矩阵 S 使 S⁻¹ASΛΛ 为对角阵则 A 的幂、指数、函数都能通过特征值快速计算。其中有一个公式我个人认为是整门课最漂亮的一行A SΛS⁻¹有了这个分解A 的 n 次方可以写成 SΛⁿS⁻¹。离散系统中的迭代、递推、网络节点的中心性计算全都是这个公式的变体。马尔可夫矩阵列和为 1 的非负矩阵有一个性质是特征值 1 对应稳态分布这是搜索引擎排序算法 PageRank 背后的原理Strang 在课上也提了这一点。再说奇异值分解。SVD 说任意 m×n 矩阵 A 都能分解为 AUΣVᵀ其中 U 和 V 是正交矩阵Σ 是奇异值构成的对角矩阵。它的意义比特征值更普遍特征值只对方阵有意义而且不一定有实特征值SVD 对任意长方形矩阵都有优雅的分解。数据降维、图像压缩、推荐系统里的隐语义模型底层都是 SVD 或者它的随机近似变体。3. 笔记整理实战我是如何把这门课“私有化”的3.1 笔记前准备视频、教材与习题册的搭配在说笔记方法之前先把资源搭配讲清楚。我当时用的组合是B 站或 MIT OCW 上的英文原版视频 Strang 的《Introduction to Linear Algebra》教材 MIT OCW 官方发布的作业题与往年考卷。英文原版的好处是术语准确比如“column space”、“null space”这类术语看中文翻译总有一种隔靴搔痒感。时间分配上我的节奏是每 1 讲视频配 2 到 3 小时的吸收与做题时间。视频本身只有 50 分钟但真正记住并会用必须把课后习题做一遍。Strang 教材的书后习题分难度等级建议把带星号的题也做掉那是考试和面试真正会碰到的水平。3.2 我的笔记流程手写草稿转 Markdown 再转 PDF笔记的形态我试过纯手写、纯电子版、手写拍照三种方式最后沉淀出一套最适合长期复用的流程第一步看视频时用纸笔做草稿记录。重点不是抄板书而是记录自己当时卡住的地方以及 Strang 讲某句话时的语气和停顿。比如他说“The column space tells you what the system can do”我会在旁边写“列空间所有可能的 b”。第二步看完一讲后趁记忆新鲜把草稿整理成 Markdown 文档。公式部分用 LaTeX 语法写排版用 Typora 的实时预览。这个过程等于把知识重新组织了一遍比单纯抄写有效得多。第三步全部整理完后用 Pandoc 或浏览器打印功能导出 PDF。文件名就叫“MIT公开课-线性代数笔记.pdf”方便按章节检索。我特别想推荐的是 Markdown LaTeX 公式这套方案。它既不像 Word 那样排版容易崩也不像纯手写笔记那样难以修改最关键的是支持全局搜索。复习时我想查“投影矩阵”的定义直接在 PDF 阅读器里搜关键词就行这在纸质笔记上完全做不到。3.3 PDF 排版与检索的几个小技巧导出 PDF 时不要一张空白页直接导出。我的习惯是用 Markdown 的一级标题做章节分隔每一讲单独一个二级标题公式单独成块重要的结论用引用块包裹。这样做出来的 PDF 结构清晰视觉层级明显打印出来也很舒服。另外笔记里凡是遇到“等价说法”我会单独整理到一个附录表格里。比如数学说法等价理解Ax0 有非零解A 的列线性相关b 在 A 的列空间中Axb 有解A 可逆列空间铺满整个 n 维空间零空间只有零向量特征值为 0矩阵不可逆存在非零向量被映射到零这个附录后来成为我复习的最高频入口。3.4 如何用笔记反哺复习和面试笔记写完不是拿来收藏的。我的习惯是每隔三周重读一次对应章节每次重读时遮住结论只看着表格和公式尝试自己推导。比如遮住投影矩阵公式尝试从“b-p 与列空间正交”重新推出 P A(AᵀA)⁻¹Aᵀ推得出来才算真正理解。面试场景里这份笔记的价值也很大。数据科学岗位几乎必问“PCA 与 SVD 的关系”如果你能直接从笔记里的 SVD 分解讲起再过渡到 PCA 的协方差矩阵特征分解面试官往往不会再追问基础问题。图形学岗位则一定会问刚体变换和旋转矩阵的特征值含义这时笔记里的“旋转矩阵的复特征值”这一条就派上用场了。4. 踩坑实录学习线性代数最容易掉的五个坑4.1 只刷视频不动笔等于白看最常见的坑就是开着视频听听完觉得“哦原来如此”合上电脑什么也不会。Strang 讲课太丝滑了尤其英文原版有字幕的时候简直像听单口相声。但这种“听懂假象”非常危险。我自己第一次听课就吃了这个亏刷到第 8 讲时回头做第 1 讲的习题竟然连 2×2 矩阵的逆都算得磕磕绊绊。后来我的规矩是看完一讲必须合上视频独立把重点例题重做一遍。做不出来就回看视频对应片段再做。这个过程很慢但效果立竿见影。4.2 特征值计算老出错病根往往在前面很多人学特征值时抱怨“行列式算不对”“特征向量求不出来”。但仔细复盘会发现根子往往不是特征值这章难而是前面的行化简、求零空间、解齐次线性方程组这些基本功没练好。求特征向量的过程本质就是求 (A-λI)x0 的零空间如果前面解 Ax0 本身就磕磕绊绊到这里必定翻车。我的建议是学到特征值之前先把消元、秩、零空间基础这三大块用两周时间强化到条件反射级别。宁可前面慢一点也不要带着残缺的基础冲进下半程。4.3 概念全都“眼熟”但不会用另一个常见情况是名词都听说过列空间、零空间、线性无关、基、维数单独说一个都能想起定义但综合起来就懵。典型题目是这样给定一个 3×4 矩阵问它的行空间和零空间是否正交互补这类题考的是把多个概念串成网络的能力。破局办法就是画图。Strang 上课画的“四子空间正交补图”一定要自己动手画至少三遍。第一遍看着画第二遍合上笔记默画第三遍尝试用自己的语言解释为什么行空间和零空间正交。画完这张图很多综合题就变得非常直观。4.4 忽略习题课与往年考题MIT OCW 上除了视频还有非常完整的作业题集、往年试卷和答案。这些资源全部免费开放但很多人只看视频完全不碰习题这是我见过最大的浪费。Strang 教材的习题风格和国内教材差异很大更偏重几何理解和应用场景做一遍对思维的训练是纯刷计算题比不了的。我的建议是把往年试卷留到全部课程结束后当模拟考做限定时间不看笔记。能拿 70% 以上的分数说明这门课的基础已经非常扎实了。4.5 不画图、不建立几何直觉最后一个坑把线性代数完全当成代数计算拒绝几何想象。比如特征值为负意味着什么行列式为 0 意味着什么矩阵把单位圆映射成了什么这些如果不借助图形理解就只能靠死记硬背。Strang 整门课都在强调几何直觉把向量看成点或箭头把矩阵看成线性变换把子空间看成穿过原点的平面或直线。当你看到一个 2×2 矩阵时第一反应应该是“这个矩阵会把平面怎么拉伸、旋转、压缩”而不是立刻去算迹和行列式。有了这个直觉SVD 里 U、Σ、V 三者的几何含义——旋转、缩放、再旋转——就成了一件自然的事。5. 完整笔记之外的几个扩展用法如果你已经把笔记整理完成还可以顺着这几个方向继续延伸。第一把笔记里的关键算法用 Python 实现一遍。比如自己写一个 LU 分解函数不调用 numpy 的现成接口然后对比数值结果和运算效率。这个过程能极大提升对数值计算的理解也为以后读源码打下基础。第二把 SVD 用到实际数据上。找一张灰度图做 SVD 后只保留前 k 个奇异值再重建图像观察图像质量的变化。这是最直观感受奇异值含义的经典实验十几行代码就能完成。第三尝试把某几个章节讲给别人听。线性代数有个特点你以为自己懂了直到你必须清晰地向别人解释才发现很多地方是模糊的。我在整理笔记后曾给师弟讲过一次“四个子空间”备课过程中又发现自己对左零空间的理解不够深入回头补了不少细节。延伸到人工智能领域线性代数几乎是所有模型推导的书写语言。注意力机制里的 QKᵀ 矩阵相乘、神经网络权重矩阵的初始化分析、RNN 中的梯度消失和特征值之间的关系这些都藏在 18.06 的知识框架里。认真学完这门课后续看论文和技术博客都会顺畅很多。最后再分享一个我的实际体会这份 MIT 公开课线性代数笔记对我来说最大的收获并不是某一个公式或某一种解法而是“把线性代数当作一门几何语言去学”的认知转变。矩阵不再是密密麻麻的数字格子而是有方向、有长度、有空间意义的变换解方程不再只是消元运算而是在找“哪些目标可以达成、哪些会落到零空间”。如果你也想拥有这种手感别停留在收藏课程列表和笔记 PDF 这一步打开第一讲视频拿起笔亲自把推导过程走一遍。笔记终归是别人的只有亲手写过、推过、错过、改过的那份才会真正长在你脑子里。本文还有配套的精品资源点击获取
返回列表