从零到 RAG 问答应用11 门课的大模型应用开发完整教程 LLM Cookbook【免费下载链接】llm-cookbook面向开发者的 LLM 入门教程吴恩达大模型系列课程中文版项目地址: https://gitcode.com/GitHub_Trending/ll/llm-cookbookLLM Cookbook 是 Datawhale 基于吴恩达大模型系列课程翻译复现的中文实战教程共 11 门课必修 4 门 选修 7 门覆盖 Prompt 工程、ChatGPT API、LangChain 编排到 RAG 检索增强生成的全流程适合有 Python 基础、想系统入门大模型应用开发的新手。一条能跑通的目标线与其逐门课硬啃不如先定一个小目标把自己的一份 PDF 变成可以问答的机器人。这个目标不大但它把 11 门课全部串了起来——每门课都负责其中一段工序学完一门机器人就往前长一截。先看清分工学习时心里才有账课程类别在我的 PDF 问答机器人里负责什么必修一 Prompt Engineering必修学会写指令决定最终回答的质量底线必修二 Building Systems with the ChatGPT API必修学会 Token 记账、输入输出检查把调用做成系统必修三 LangChain for LLM Application Development必修用组件把流程串起来加 Memory 支持多轮对话必修四 LangChain Chat with Your Data必修目标主战场加载 PDF、切块、向量化、检索、作答选修-Advanced Prompting选修思维链、ReAct 等技巧提升推理类问题质量选修-Functions, Tools and Agents with LangChain选修让机器人能调工具升级为 Agent选修-Advanced Retrieval for AI with Chroma选修打磨检索查询扩展、重排序、嵌入适配器选修-Building and Evaluating Advanced RAG Applications选修高级 RAG 结构 评估指标量化效果选修-Finetuning Large Language Models选修不走检索的另一条路用数据训模型选修-Building Generative AI Applications with Gradio选修给机器人套上可用的界面选修-Evaluating and Debugging Generative AI选修用 WB 追踪、调试定位问题课程代码都在 content/ 目录文字版教程在 docs/ 目录环境没配好先看 环境配置。为什么调用一次模型就要按 Token 算账 先说结论模型读写的不是字也不是词而是 Token——分词器把文本切碎后的最小单元它既是模型处理的粒度也是计费的单位。可以把 LLM 理解成一个靠海量文本喂出来的超级自动补全器给它半句话它会按概率补出最像人话的下一段。但这个补全器的最小手眼就是 Token它只能整块地搬动 Token。你让它把番茄炒蛋倒过来写它容易翻车因为番茄在它眼里是一整块拆不开字。英文里 1 个 Token 约等于 3/4 个单词中文约 1 个汉字估算成本时这就是你的换算率。另一件事必须知道模型的上下文上限是输入 输出共用的 Token 池。塞进去的资料越多留给回答的空间就越少——后面讲 RAG 时会反复撞上这个限制。模型为什么能补出像人话的内容分三个阶段养成预训练阶段在超大语料上反复练补下一个词这一阶段读什么写什么只会接龙指令微调阶段拿指令 标准答复的小数据集训练让它学会回答问题而不是续写再往后是 RLHF人类反馈强化学习人工给候选回答打分模型学会往高分方向答。所以你会看到没做过指令微调的 Base 模型爱跑题乱接话而你在 API 里调到的基本都是调过教化的版本。容易混的是微调和 Prompt 的分界微调改的是模型参数花钱花算力Prompt 只改这一次调用的输入花的是 Token 钱。前者动机器后者动台词。怎么让模型稳定地说人话、听话 调通 API 只是起点能不能稳定产出符合要求的文本全看你怎么问。Chat 格式把一条提问拆成两层system 消息定人设和规矩长期生效user 消息提这次的具体需求。像填一张工单一栏写门店经营规则一栏写这位顾客的具体诉求。messages [ {role: system, content: 你是客服助手回复不超过两句}, {role: user, content: 帮我总结这条差评}, ]Temperature 是采样的随机旋钮像骰子的音量设 0 就是永远给出最可能的那个答案调高则越来越敢掷骰子。写发票摘要要低同一个 Prompt 连跑三次得是同一句写产品文案可以调高一点三次跑出三种风格。必修课里所有示例默认temperature0就为了让结果可复现——出了问题你能判断是 Prompt 的锅还是运气的锅而不是两样都怪。Prompt 迭代优化不是写作文更像调试写一版 → 拿十来个真实样本跑 → 把答错的挑出来归类是含糊、缺背景、还是需要先想后答→ 改指令 → 再跑。必修一的总结、推断、转换、扩展四个任务每个都是一轮轮磨出来的。还有一类错误靠改指令解决不了数学题、逻辑题上的跳步。这时上思维链CoT——在指令里要求模型先展开中间步骤再给结论等于要求它先列式子再报答案选修课 Advanced Prompting 里有完整实现。模型为什么答不出我自己文档里的内容 原因不复杂模型的知识截止在它训练那天你的私有文档它压根没见过。RAG检索增强生成的思路因此而来——先查资料再作答。Embedding 是给每段文本配一种气味语义相近的句子气味就相近。这条裤子版型偏大和建议拍小一码闻起来很像今天适合跑步吗闻起来完全两码事。检索不再靠数关键词重合而是靠比对气味远近。有了气味还不够得先处理文档。PDF 先切块这里有个讲究块太大检索回来一大坨噪声挤爆上下文块太小一句话被拦腰截断语义就没了。必修四用RecursiveCharacterTextSplitter设块大小并留重叠区就是让切点尽量落在句子边界上splitter RecursiveCharacterTextSplitter( chunk_sizechunk_size, chunk_overlapchunk_overlap )切好的块逐块过 Embedding 变成向量存进向量数据库——仓库里用的是轻量方案Chroma你可以把它理解成一个按气味索书的书库。之后用户问题同样转成向量去库里找最近的邻居连同问题一起交给 LLM 作答。整条流程是加载 → 切块 → 向量化 → 入库 → 检索 → 拼 Prompt → 生成。基础相似性搜索有几个会真实翻车的坑同一个 PDF 重复入库会返回重复块问题里写了第三讲这种定位词向量检索只认语义不认序号直接答非所问。选修课 Chroma 高级检索逐个给药方查询扩展先把问题改写成多个变体再搜Cross-encoder 重排序用交叉编码器对粗筛结果精排嵌入适配器训练一个小矩阵把问题向量转成更适合本任务的表示。容易混的是 RAG 和微调RAG 不改模型只换它桌上的资料知识随时可增删微调是把知识蒸进参数改完不可逆但推理时不再依赖外挂检索。单点 Demo 怎么拼成能用的应用 ⚙️单个能力拼起来才成系统这一层靠LangChain和它定义的Chain。Chain 是把检索 → 填模板 → 调模型 → 解析输出串成固定流水线的单元就像装配线上焊死的工位顺序。RAG 问答不用手写胶水代码chain RetrievalQA.from_chain_type( llm, retrievervectordb.as_retriever() )把向量库和模型挂上去问一句话检索、拼 Prompt、调模型、返回答案全自动完成。想自定义格式时再用 Prompt 模板加输出解析器Output Parser把自由文本掰成 JSON。Memory解决另一个问题Chain 管单次流程Memory 管多轮对话的状态——记住上一句谁说了什么聊天机器人才接得上话你的 PDF 机器人从问一句答一句变成能追问的对话体。再往上走一步是Agent给模型思考—行动—观察的循环ReAct 范式让它自己决定调哪个工具——查搜索、算数、查库直到给出答案。分界很清楚Chain 的路线写死在代码里每步干什么你说了算Agent 的路线是模型现场决策的灵活但更容易跑偏用之前先想好兜底。ReAct 的推导在选修 Advanced Prompting用 LangChain 落地在选修 Functions, Tools and Agents。两条路还要分清楚——微调 vs RAG微调像定制鞋垫做出来合脚但脚型变了就得重做RAG 像给桌上加一本手册手册随时可换。经验顺序是先 RAG 后微调资料能检索到的问题优先检索检索也解决不了、且属于稳定的格式或风格要求比如客服永远先道歉、再给订单号、最后列售后选项再考虑动参数。最后别忘评估改 Prompt、换检索策略或微调后到底变好还是变坏靠一组标准问题量化打分——答案相关性、上下文相关性这类指标选修 RAG 评估课里都有实操框架有数字才敢上线。必修选修怎么排建议按这个节奏走每段留白给自己重跑代码的时间必修一1~2 周先会写指令做完总结、推断、转换、扩展四类任务最后拼一个聊天机器人。出口是能给一个任务写出可复现、带评估样本的 Prompt。必修二2~3 周Token 与 Chat 格式打底走输入分类、内容监督、思维链、Prompt 链最后搭一个带评估的端到端问答系统。出口是说得清每次调用的 Token 开销。必修三2~3 周模型、解析器、Memory、Chain、文档问答、Agent 依次过关不手写胶水代码拼出带记忆的问答链。必修四2~3 周文档加载、分割、Embedding、Chroma 入库、检索、RAG 问答、聊天你的 PDF 机器人在这一段成型。选修各 2~4 周按兴趣挑方向深挖检索选 Chroma 高级检索 高级 RAG 评估两门玩提示技巧选 Advanced Prompting想动参数选微调课想加界面和调试分别选 Gradio 与 WB 两门想上 Agent 选 Functions, Tools and Agents。先跑通再深入这份教程最大的特点是可运行每个概念后面都跟着能执行的 Notebook你不需要先把 11 门课的理论背完再动手。比较稳的路径是——先按必修四的顺序把我的 PDF 问答机器人跑通一遍哪怕中间有些概念似懂非懂等机器人真的能回答问题了再回头把不懂的地方逐个补上你会发现它们早就在代码里出现过。仓库克隆下来之后课程代码看 content/想安静阅读可以看 docs/ 里的文字版教程环境配置不熟就翻 环境配置仓库地址git clone https://gitcode.com/GitHub_Trending/ll/llm-cookbook。【免费下载链接】llm-cookbook面向开发者的 LLM 入门教程吴恩达大模型系列课程中文版项目地址: https://gitcode.com/GitHub_Trending/ll/llm-cookbook创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考