尧图网站建设 
技术课程插图审计与图像资产治理Data Engineering Zoomcamp 2027 批次处理模块的 80 项插图盘点【免费下载链接】data-engineering-zoomcampData Engineering Zoomcamp is a free 9-week course on building production-ready data pipelines. Join the course here 项目地址: https://gitcode.com/GitHub_Trending/da/data-engineering-zoomcamp本篇技术指南系统讲解 Data Engineering Zoomcamp 2027 批次处理Batch Processing模块cohorts/2027/06-batch/的一次完整插图盘点与图像资产管理实践从审计范围、保留规则Rubric到确定性裁剪 / 受控图像生成两条处理路径再到 80 项引用逐条决策与最终验证。读者读完可以掌握一套可复用的技术文档插图审计方法论并理解为何精确的命令行、代码、UI 截图必须走确定性裁剪而边界清晰的说明性示意图才允许交给图像生成模型重绘。审计范围一份明确的边界声明本次盘点由仓库内的治理文档 .tmp/de-2027-batch-image-rollout.md 记录范围被严格限定为cohorts/2027/06-batch/下所有本地 Markdown 图片引用。该模块是数据工程课程的核心单元包含从批处理概念到 Spark 安装、DataFrame、RDD、GCS、Dataproc 与 BigQuery 连接的完整 16 节课单元清单见 cohorts/2027/06-batch/README.md。文档开篇明确了执行者的能力边界与纪律图像生成能力可用但只用于有边界的说明性示意图bounded explanatory diagrams且必须经过确定性裁剪与肉眼检查之后才允许生成精确的代码、命令、URL、图表、数值输出与真实 UI 一律用确定性裁剪/放大处理绝不交给图像生成模型重写所有原始 JPG 保留在 cohorts/2027/06-batch/images/ 目录中作为可恢复的事实来源。保留规则Rubric什么图值得留下审计不是图片好看就留而是基于一套可操作的教学价值标准。每张源图都要通过以下六项检查维度要求具体的教学点specific teaching point图片必须承载文字难以表达的信息而非装饰相关性relevant与所在课程文字直接相关可读性readable在课程渲染尺寸下清晰可读补充性additive to prose/code对旁边的文字/代码有增量价值耐久性durable不依赖时效性内容如网页搜索结果有用且准确的说明文字useful caption图片替代文本必须准确描述内容没有教学贡献或属于冗余导航的图片一律删除删除并不删除源文件——原始 JPG 全部保留供恢复与追溯。两条处理路径什么时候用裁剪什么时候用生成这是本次治理实践最核心的方法论。对 74 张保留资产采用了两条互斥路径确定性技术裁剪57 张用于精确证据类内容——命令输出、终端截图、Spark UI、notebook 代码、BigQuery/Dataproc 控制台等。典型做法是ImageMagick的-crop加上repage -strip裁剪掉浏览器/编辑器 chrome、摄像头画面、光标等录制痕迹保留教学核心区域例如裁剪几何x20,y32,w480,h300反复用于终端类截图。受控图像生成 imagegen17 张只用于边界清晰的概念示意图。流程固定为从原始 640×360 视频帧做确定性裁剪最常见几何为x37,y0,w465,h340→ 本地肉眼检查 → 以原始 JPG 原生裁剪作为仅有的两个输入进行重绘 → 逐字节复制到发布目标。重绘必须移除演讲者、摄像头画面、工具栏、浏览器边框等录制痕迹同时精确保留图中的教学标签与箭头方向如RIDE.STARTS→PROCESSOR、DRIVER→SPARK SUBMIT→MASTER、P1/P2输出分区等。在仓库中可以直接对照实践结果原始 JPG 与其-cropped.png确定性裁剪或-imagegen.png受控生成产物以同级兄弟文件形式共存于 cohorts/2027/06-batch/images/。80 项逐条决策保留 74、移除 6完整盘点覆盖 80 个源引用最终74 张保留、6 张移除。下面按课程顺序给出完整决策清单方法列中IG 465×340表示 imagegen 重绘且裁剪几何为x37,y0,w465,h340DC表示确定性裁剪括号内为裁剪几何#来源决策方法评分教学点 / 限制101-batch-vs-streaming保留IG 465×34010/12保留批处理日历→任务→输出与连续流式流程移除演讲者/摄像头/工具栏/边框201-streaming-example保留IG 465×34010/12保留RIDE.STARTS→处理器→输出流301-batch-job-frequencies保留IG 465×3409/12保留三种调度频率周/日/时的顺序401-technologies保留IG 465×34010/12两栏图保留批处理频率与 Python/SQL/Spark/Flink 技术清单501-batch-workflow移除—2/12硬门槛失败源图是优点清单而非文字所述工作流且与相邻优点图重复601-advantages保留IG 465×34010/12保留三项优点与延迟缺点701-batch-vs-streaming-share保留IG 465×34010/12保留约 80% 批处理 / 20% 流式的占比与处理关系802-spark-google-search移除—4/12谷歌搜索结果导航图无理解增益、时效性强、非互补证据902-data-processing-engine-whiteboard保留IG 465×34010/12保留输入数据→Spark 集群→输出数据与语言标注1002-when-to-use-spark-whiteboard保留IG 465×34011/12保留 SQL 与 Spark 取舍建议及 Hive/Presto/Athena 标签1102-typical-workflow-whiteboard保留IG 465×34011/12保留 SQL 准备、Spark/Python 训练、模型创建与 Spark 应用模型1203-install-guide-java保留DCx20,y205,w465,h1459/12保留 Linux/Java/OpenJDK 安装指引排除无关页面/侧栏1303-java-home保留DCx20,y32,w480,h30010/12保留 JDK 解压输出、路径与JAVA_HOME导出命令1403-spark-download-page保留DCx0,y28,w490,h3059/12保留 Spark 版本与 Hadoop 构建选择器1503-spark-home保留DCx20,y32,w480,h30010/12保留解压/删除/导出命令与SPARK_HOME路径1603-spark-shell保留DCx20,y32,w480,h30010/12保留 Spark 3.0.3 shell 输出与结果[1,2,3,4,5,6,7,8,9]1704-spark-ui保留DCx0,y28,w480,h3209/12保留 Spark 3.0.3 Jobs UI 与任务状态证据1804-schema-problem-pandas保留DCx22,y30,w465,h30010/12保留StringType模式与 pandas 采样设置1904-schema-structtype保留DCx45,y28,w455,h30010/12保留显式StructField声明2004-partitions-slides保留IGx132,y50,w350,h27010/12保留云存储分区与集群 executor 的关系2104-repartition-write-parquet保留DCx22,y30,w465,h30010/12保留 schema、repartition(24)与 parquet 写入代码2205-print-schema保留DCx22,y30,w465,h30010/12保留printSchema()输出与类型化列2305-select保留DC 同上10/12保留所选列与结果 DataFrame 模式2405-built-in-functions保留DC 同上10/12保留F.补全列表与to_date上下文2505-udf保留DC 同上10/12保留 filter/show 输出与crazy_stuff函数上下文2606-tlc-website移除—4/12导航性页面截图且浏览器右键菜单遮挡链接文字已给出数据源2706-url-list保留DCx20,y32,w465,h3009/12保留生成的 TLC URL 与循环输出2806-printf保留DC 同上9/12保留printf补零格式命令与输出2906-zcat保留DC 同上10/12保留zcat ... \| head -n 10命令与 CSV 输出证据3006-tree-raw保留DC 同上9/12保留 raw 目录层级与按月文件3106-schema-strings保留DCx22,y30,w465,h30010/12保留推断的全StringType模式作为需显式定义 schema的证据3206-spark-ui-one-task保留DCx0,y30,w480,h30010/12保留单任务/活跃任务 UI 证据3306-tree-pq保留DCx20,y32,w465,h30010/12保留 parquet 目录层级、_SUCCESS标记与 part 文件3407-read-parquet保留DCx22,y30,w465,h30010/12保留 parquet 读取命令与数据证据3507-common-columns保留DC 同上10/12保留共享列集合与两个 DataFrame 的关系3608-spark-submit-master保留IG 465×34010/12保留DRIVER → SPARK SUBMIT → MASTER与4040标签3708-executors-failure保留IG 465×34010/12保留 master 协调 executor 与单 executor 故障重分配3808-executors-pull-partitions保留IG 465×34010/12保留四个 DataFrame 分区流向集群 executor3908-s3-gcs-instead-of-hdfs保留IG 465×34011/12保留 S3/GCS 作为活动存储、HADOOP/HDFS 弱化与分区拉取4009-reshuffling-whiteboard保留IG 465×34010/12保留子结果、按键交叉箭头、输出分区P1/P2与外部归并排序4109-revenue-query保留DCx22,y30,w465,h30010/12保留收入查询 notebook 上下文与分组键证据4209-three-stages保留DCx0,y28,w480,h30010/12保留三阶段 DAG 证据4309-shuffle-read-write保留DC 同上10/12保留完成阶段数、任务总数与 shuffle 读证据4410-outer-join保留DCx22,y30,w465,h30010/12保留外连接代码与连接键4510-sort-merge-join-stages保留DCx0,y28,w500,h30010/12保留两个扫描阶段、exchange 与下游 join DAG4610-zones-lookup保留DCx22,y30,w465,h30010/12保留 zones 查找表模式与样例行4710-broadcast-exchange保留DCx0,y28,w480,h3009/12保留广播交换任务证据原生行选中高亮保留4811-map-key-value-whiteboard保留IG 465×34011/12保留Row→map→RDD与键(H,Z)/ 值(AMT,CNT)分组语义4911-rdd-of-rows保留DCx22,y30,w465,h3009/12保留 Row 对象输出与 RDD 搭建5011-reducebykey-chain保留DC 同上10/12保留 filter/map/reduceByKey 链与聚合输出5111-todf-lost-names保留DC 同上10/12保留泛化_1–_4列与 toDF 链5211-namedtuple-schema保留DC 同上10/12保留 RevenueRow/namedtuple 与显式 StructType schema5311-dag-two-stages保留DCx0,y28,w480,h30010/12保留两阶段 DAG 与 partitionBy/mapPartitions 证据5412-map-partitions-diagram保留IG 465×34011/12保留RDD→Partition→mapPartitions→Partition关系与1TB标签5512-feature-columns保留DCx20,y32,w600,h2109/12保留特征选择代码、全部输出列头与样例值5612-one-result-per-partition保留DCx22,y30,w465,h30010/12保留 mapPartitions 函数、collect 调用与[1,1,1,1]结果5712-partition-sizes保留DC 同上10/12保留计数函数与不均衡分区计数5812-pandas-dataframe移除—4/12硬性图文不符文字称展示 pandas 无意义列名截图为后续函数与分区计数5912-model-and-yield保留DC 同上9/12保留模型预测、预测时长列与 yield 行代码6012-predicted-duration保留DC 同上9/12保留 mapPartitions/toDF 管线与预测时长查询6113-gcs-connector-instructions移除—5/12临时 Slack 帖子含演示人头像与聊天框 chrome与课程复现步骤冗余6213-upload-parquet-to-gcs保留DCx60,y48,w475,h28510/12保留目录列表与gsutil -m cp -r pq/ gs://.../pq命令6313-upload-progress保留DCx60,y48,w475,h30510/12保留对象复制流与底部进度状态6413-download-connector-jar保留DCx60,y200,w540,h10811/12保留 gsutil 连接器下载、完成状态与 jar 文件名6513-spark-conf-gcs-connector保留DCx100,y150,w500,h10010/12聚焦 SparkConf jar 与服务账号设置6613-spark-session-gcs保留DCx20,y198,w600,h13011/12保留SparkSession.builder配置与gs://.../green/*/*读取路径6713-read-from-gcs-test保留DCx20,y184,w600,h489/12保留df_green.count()调用与阶段进度6814-spark-master-ui保留DCx0,y30,w640,h10510/12保留 Master URL、活跃 worker 数与核心使用6914-worker-registered保留DCx0,y30,w640,h16011/12保留 worker 数、地址、ALIVE 状态、核心/内存/资源表7014-converted-script保留DCx180,y75,w360,h260 光标遮罩9/12保留转换后的 Python/Spark 导入、会话构建与 parquet 读取7114-running-script-2020保留DCx60,y60,w475,h28010/12保留 2020 命令、Spark 警告与阶段进度7214-spark-submit-2021保留DCx60,y48,w475,h3009/12保留 2021 运行的 executor/scheduler 日志证据7315-create-cluster保留DCx0,y30,w535,h33010/12保留 Dataproc 集群创建步骤与选中的 Jupyter/Docker 组件7415-submit-job-form保留DCx280,y95,w360,h2659/12保留绿/黄输入与报告输出参数面板7515-job-finished-report保留DCx0,y30,w535,h32010/12保留桶身份、对象标签与code/、pq/、report-2021/目录7615-iam-dataproc-role移除—4/12说明文字声称添加 Dataproc Administrator 角色截图仅见 IAM 表格无该角色或添加动作7715-reports-in-bucket保留DCx0,y30,w145,h3309/12保留report-2020/与report-2021/目录证据7816-connector-tutorial保留DCx180,y52,w430,h27810/12保留 Dataproc 提交命令、GCS 参数与 BigQuery 连接器教程7916-failed-to-find-bigquery保留DCx60,y100,w540,h2409/12保留ClassNotFoundException、缺失bigquery数据源报错与堆栈证据8016-bigquery-table保留DCx0,y30,w535,h30010/12保留 BigQueryreports-2020表、项目树、模式与类型化字段六张被移除资产的共性值得特别关注的是 6 张被移除的图#5、#8、#26、#58、#61、#76它们暴露了技术文档插图最常见的四类问题图文不符硬性失败#58的说明文字与截图内容不一致、#76声称展示的角色添加动作在截图中不存在——这是评分最低2/12、4/12的硬门槛失败导航冗余#8的搜索结果页、#26的网站截图、#61的 Slack 帖子对教学内容零增量与文字重复#5的优点清单图与相邻优点图重复且不是文字描述的工作流时效性差#8的搜索结果会随搜索引擎变化而失效不满足耐久性要求。移除的决策同样保留原始 JPG 与审计记录保证任何时刻都能回溯。典型保留资产与教学点拆解从 74 张保留资产中可以清晰地反推出课程的教学主线这正是以教学点为纲审计的价值概念层imagegen 重绘批次 vs 流式对比见 01-introduction-to-batch-processing.md 第 32 行引用、Spark 集群解剖图组08-*四张提交链路、executor 故障转移、分区拉取、S3/GCS 替代 HDFS、groupBy 重分区白板图、mapPartitions 分区转换图见 12-spark-rdd-mappartition.md 第 20 行引用。这些图保留了教学标签、箭头方向与分组语义是文字无法替代的关系型证据。证据层确定性裁剪Spark 3.0.3 安装命令与 shell 输出、printSchema()类型化列、repartition(24)写 parquet、gsutil -m cp上传命令、Dataproc 创建表单与提交参数、BigQuery 连接失败的ClassNotFoundException堆栈。这些截图是可复现实验证据任何文字转述都会损失精确度因此严格禁止生成模型改写。例如课程第 1 课 01-introduction-to-batch-processing.md 中batch-vs-streaming 图与 80/20 占比图分别支撑批处理把一天数据一次处理完与多数数据处理是批处理两个论断第 12 课的 mapPartitions 图则直接支撑分区进、分区出的转换语义。留与不留都以这句话没有这张图是否还成立为判断基准。可追溯性与验证比改图更重要的是一致性本次盘点并非一次性清理而是一套可持续的治理闭环其验证标准包括完整性全部 80 个源引用都有审计条目74 张保留引用全部解析到同级的-cropped.png确定性裁剪或-imagegen.png受控生成资产且 80 个原始 JPG 全部仍在images/目录结果构成保留集中包含 17 张 imagegen 示意图与 57 张确定性技术裁剪质量门禁git diff --check对范围内的课程/报告文件全部通过工作区整洁一次性接触表与中间裁剪存放在 .tmp/de-batch-contact-sheets/ 等.tmp目录下不进入正式资产交付前从工作树移除。此外这一治理过程还有后续的严格语义修复记录见 cohorts/2027/06-batch/2026-09-09-follow-up-provenance.md它为 lessons 11–15 提供了权威的当前引用审计、每张图的 SHA-256 哈希链、原始 JPG → 原生裁剪 → imagegen 产物的完整溯源并记录了诸如分区箭头必须落在对应 executor 框内存储箭头不得交叉等细粒度验收标准。与仓库层面的 .tmp/de-2027-distrust-audit.md对全cohorts/2027的 175 处引用做信任审计移除 64 张无源支持的生成图配合构成了先信任审计、再语义修复、再逐条盘点的三级图像治理体系。对技术文档维护者的可复用方法论本次盘点的价值不在于改了一批图而在于沉淀了一套可迁移的插图治理流程先定范围再动手明确哪个目录、哪些引用属于本次治理边界用 Rubric 而非审美做决策教学点、相关性、可读性、补充性、耐久性、说明文字六项打分明确区分导航图与教学图按内容类型分流精确证据走确定性裁剪概念示意图走受控生成且生成必须以原始素材 原生边界裁剪为输入禁止凭空发挥删除不销毁被移除的资产保留原件与审计条目保证可追溯验证闭环引用解析、git diff --check、原生尺寸与课程渲染尺寸双重检查缺一不可。这套方法论同样适用于任何以教学视频/讲座为源头、以 Markdown 课程为载体的技术文档项目它回答的始终是同一个问题——这张图是证据还是装饰它是否配得上占据读者的一个屏幕【免费下载链接】data-engineering-zoomcampData Engineering Zoomcamp is a free 9-week course on building production-ready data pipelines. Join the course here 项目地址: https://gitcode.com/GitHub_Trending/da/data-engineering-zoomcamp创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 技术课程插图审计与图像资产治理：Data Engineering Zoomcamp 2027 批次处理模块的 80 项插图盘点
技术课程插图审计与图像资产治理Data Engineering Zoomcamp 2027 批次处理模块的 80 项插图盘点【免费下载链接】data-engineering-zoomcampData Engineering Zoomcamp is a free 9-week course on building production-ready data pipelines. Join the course here 项目地址: https://gitcode.com/GitHub_Trending/da/data-engineering-zoomcamp本篇技术指南系统讲解 Data Engineering Zoomcamp 2027 批次处理Batch Processing模块cohorts/2027/06-batch/的一次完整插图盘点与图像资产管理实践从审计范围、保留规则Rubric到确定性裁剪 / 受控图像生成两条处理路径再到 80 项引用逐条决策与最终验证。读者读完可以掌握一套可复用的技术文档插图审计方法论并理解为何精确的命令行、代码、UI 截图必须走确定性裁剪而边界清晰的说明性示意图才允许交给图像生成模型重绘。审计范围一份明确的边界声明本次盘点由仓库内的治理文档 .tmp/de-2027-batch-image-rollout.md 记录范围被严格限定为cohorts/2027/06-batch/下所有本地 Markdown 图片引用。该模块是数据工程课程的核心单元包含从批处理概念到 Spark 安装、DataFrame、RDD、GCS、Dataproc 与 BigQuery 连接的完整 16 节课单元清单见 cohorts/2027/06-batch/README.md。文档开篇明确了执行者的能力边界与纪律图像生成能力可用但只用于有边界的说明性示意图bounded explanatory diagrams且必须经过确定性裁剪与肉眼检查之后才允许生成精确的代码、命令、URL、图表、数值输出与真实 UI 一律用确定性裁剪/放大处理绝不交给图像生成模型重写所有原始 JPG 保留在 cohorts/2027/06-batch/images/ 目录中作为可恢复的事实来源。保留规则Rubric什么图值得留下审计不是图片好看就留而是基于一套可操作的教学价值标准。每张源图都要通过以下六项检查维度要求具体的教学点specific teaching point图片必须承载文字难以表达的信息而非装饰相关性relevant与所在课程文字直接相关可读性readable在课程渲染尺寸下清晰可读补充性additive to prose/code对旁边的文字/代码有增量价值耐久性durable不依赖时效性内容如网页搜索结果有用且准确的说明文字useful caption图片替代文本必须准确描述内容没有教学贡献或属于冗余导航的图片一律删除删除并不删除源文件——原始 JPG 全部保留供恢复与追溯。两条处理路径什么时候用裁剪什么时候用生成这是本次治理实践最核心的方法论。对 74 张保留资产采用了两条互斥路径确定性技术裁剪57 张用于精确证据类内容——命令输出、终端截图、Spark UI、notebook 代码、BigQuery/Dataproc 控制台等。典型做法是ImageMagick的-crop加上repage -strip裁剪掉浏览器/编辑器 chrome、摄像头画面、光标等录制痕迹保留教学核心区域例如裁剪几何x20,y32,w480,h300反复用于终端类截图。受控图像生成 imagegen17 张只用于边界清晰的概念示意图。流程固定为从原始 640×360 视频帧做确定性裁剪最常见几何为x37,y0,w465,h340→ 本地肉眼检查 → 以原始 JPG 原生裁剪作为仅有的两个输入进行重绘 → 逐字节复制到发布目标。重绘必须移除演讲者、摄像头画面、工具栏、浏览器边框等录制痕迹同时精确保留图中的教学标签与箭头方向如RIDE.STARTS→PROCESSOR、DRIVER→SPARK SUBMIT→MASTER、P1/P2输出分区等。在仓库中可以直接对照实践结果原始 JPG 与其-cropped.png确定性裁剪或-imagegen.png受控生成产物以同级兄弟文件形式共存于 cohorts/2027/06-batch/images/。80 项逐条决策保留 74、移除 6完整盘点覆盖 80 个源引用最终74 张保留、6 张移除。下面按课程顺序给出完整决策清单方法列中IG 465×340表示 imagegen 重绘且裁剪几何为x37,y0,w465,h340DC表示确定性裁剪括号内为裁剪几何#来源决策方法评分教学点 / 限制101-batch-vs-streaming保留IG 465×34010/12保留批处理日历→任务→输出与连续流式流程移除演讲者/摄像头/工具栏/边框201-streaming-example保留IG 465×34010/12保留RIDE.STARTS→处理器→输出流301-batch-job-frequencies保留IG 465×3409/12保留三种调度频率周/日/时的顺序401-technologies保留IG 465×34010/12两栏图保留批处理频率与 Python/SQL/Spark/Flink 技术清单501-batch-workflow移除—2/12硬门槛失败源图是优点清单而非文字所述工作流且与相邻优点图重复601-advantages保留IG 465×34010/12保留三项优点与延迟缺点701-batch-vs-streaming-share保留IG 465×34010/12保留约 80% 批处理 / 20% 流式的占比与处理关系802-spark-google-search移除—4/12谷歌搜索结果导航图无理解增益、时效性强、非互补证据902-data-processing-engine-whiteboard保留IG 465×34010/12保留输入数据→Spark 集群→输出数据与语言标注1002-when-to-use-spark-whiteboard保留IG 465×34011/12保留 SQL 与 Spark 取舍建议及 Hive/Presto/Athena 标签1102-typical-workflow-whiteboard保留IG 465×34011/12保留 SQL 准备、Spark/Python 训练、模型创建与 Spark 应用模型1203-install-guide-java保留DCx20,y205,w465,h1459/12保留 Linux/Java/OpenJDK 安装指引排除无关页面/侧栏1303-java-home保留DCx20,y32,w480,h30010/12保留 JDK 解压输出、路径与JAVA_HOME导出命令1403-spark-download-page保留DCx0,y28,w490,h3059/12保留 Spark 版本与 Hadoop 构建选择器1503-spark-home保留DCx20,y32,w480,h30010/12保留解压/删除/导出命令与SPARK_HOME路径1603-spark-shell保留DCx20,y32,w480,h30010/12保留 Spark 3.0.3 shell 输出与结果[1,2,3,4,5,6,7,8,9]1704-spark-ui保留DCx0,y28,w480,h3209/12保留 Spark 3.0.3 Jobs UI 与任务状态证据1804-schema-problem-pandas保留DCx22,y30,w465,h30010/12保留StringType模式与 pandas 采样设置1904-schema-structtype保留DCx45,y28,w455,h30010/12保留显式StructField声明2004-partitions-slides保留IGx132,y50,w350,h27010/12保留云存储分区与集群 executor 的关系2104-repartition-write-parquet保留DCx22,y30,w465,h30010/12保留 schema、repartition(24)与 parquet 写入代码2205-print-schema保留DCx22,y30,w465,h30010/12保留printSchema()输出与类型化列2305-select保留DC 同上10/12保留所选列与结果 DataFrame 模式2405-built-in-functions保留DC 同上10/12保留F.补全列表与to_date上下文2505-udf保留DC 同上10/12保留 filter/show 输出与crazy_stuff函数上下文2606-tlc-website移除—4/12导航性页面截图且浏览器右键菜单遮挡链接文字已给出数据源2706-url-list保留DCx20,y32,w465,h3009/12保留生成的 TLC URL 与循环输出2806-printf保留DC 同上9/12保留printf补零格式命令与输出2906-zcat保留DC 同上10/12保留zcat ... \| head -n 10命令与 CSV 输出证据3006-tree-raw保留DC 同上9/12保留 raw 目录层级与按月文件3106-schema-strings保留DCx22,y30,w465,h30010/12保留推断的全StringType模式作为需显式定义 schema的证据3206-spark-ui-one-task保留DCx0,y30,w480,h30010/12保留单任务/活跃任务 UI 证据3306-tree-pq保留DCx20,y32,w465,h30010/12保留 parquet 目录层级、_SUCCESS标记与 part 文件3407-read-parquet保留DCx22,y30,w465,h30010/12保留 parquet 读取命令与数据证据3507-common-columns保留DC 同上10/12保留共享列集合与两个 DataFrame 的关系3608-spark-submit-master保留IG 465×34010/12保留DRIVER → SPARK SUBMIT → MASTER与4040标签3708-executors-failure保留IG 465×34010/12保留 master 协调 executor 与单 executor 故障重分配3808-executors-pull-partitions保留IG 465×34010/12保留四个 DataFrame 分区流向集群 executor3908-s3-gcs-instead-of-hdfs保留IG 465×34011/12保留 S3/GCS 作为活动存储、HADOOP/HDFS 弱化与分区拉取4009-reshuffling-whiteboard保留IG 465×34010/12保留子结果、按键交叉箭头、输出分区P1/P2与外部归并排序4109-revenue-query保留DCx22,y30,w465,h30010/12保留收入查询 notebook 上下文与分组键证据4209-three-stages保留DCx0,y28,w480,h30010/12保留三阶段 DAG 证据4309-shuffle-read-write保留DC 同上10/12保留完成阶段数、任务总数与 shuffle 读证据4410-outer-join保留DCx22,y30,w465,h30010/12保留外连接代码与连接键4510-sort-merge-join-stages保留DCx0,y28,w500,h30010/12保留两个扫描阶段、exchange 与下游 join DAG4610-zones-lookup保留DCx22,y30,w465,h30010/12保留 zones 查找表模式与样例行4710-broadcast-exchange保留DCx0,y28,w480,h3009/12保留广播交换任务证据原生行选中高亮保留4811-map-key-value-whiteboard保留IG 465×34011/12保留Row→map→RDD与键(H,Z)/ 值(AMT,CNT)分组语义4911-rdd-of-rows保留DCx22,y30,w465,h3009/12保留 Row 对象输出与 RDD 搭建5011-reducebykey-chain保留DC 同上10/12保留 filter/map/reduceByKey 链与聚合输出5111-todf-lost-names保留DC 同上10/12保留泛化_1–_4列与 toDF 链5211-namedtuple-schema保留DC 同上10/12保留 RevenueRow/namedtuple 与显式 StructType schema5311-dag-two-stages保留DCx0,y28,w480,h30010/12保留两阶段 DAG 与 partitionBy/mapPartitions 证据5412-map-partitions-diagram保留IG 465×34011/12保留RDD→Partition→mapPartitions→Partition关系与1TB标签5512-feature-columns保留DCx20,y32,w600,h2109/12保留特征选择代码、全部输出列头与样例值5612-one-result-per-partition保留DCx22,y30,w465,h30010/12保留 mapPartitions 函数、collect 调用与[1,1,1,1]结果5712-partition-sizes保留DC 同上10/12保留计数函数与不均衡分区计数5812-pandas-dataframe移除—4/12硬性图文不符文字称展示 pandas 无意义列名截图为后续函数与分区计数5912-model-and-yield保留DC 同上9/12保留模型预测、预测时长列与 yield 行代码6012-predicted-duration保留DC 同上9/12保留 mapPartitions/toDF 管线与预测时长查询6113-gcs-connector-instructions移除—5/12临时 Slack 帖子含演示人头像与聊天框 chrome与课程复现步骤冗余6213-upload-parquet-to-gcs保留DCx60,y48,w475,h28510/12保留目录列表与gsutil -m cp -r pq/ gs://.../pq命令6313-upload-progress保留DCx60,y48,w475,h30510/12保留对象复制流与底部进度状态6413-download-connector-jar保留DCx60,y200,w540,h10811/12保留 gsutil 连接器下载、完成状态与 jar 文件名6513-spark-conf-gcs-connector保留DCx100,y150,w500,h10010/12聚焦 SparkConf jar 与服务账号设置6613-spark-session-gcs保留DCx20,y198,w600,h13011/12保留SparkSession.builder配置与gs://.../green/*/*读取路径6713-read-from-gcs-test保留DCx20,y184,w600,h489/12保留df_green.count()调用与阶段进度6814-spark-master-ui保留DCx0,y30,w640,h10510/12保留 Master URL、活跃 worker 数与核心使用6914-worker-registered保留DCx0,y30,w640,h16011/12保留 worker 数、地址、ALIVE 状态、核心/内存/资源表7014-converted-script保留DCx180,y75,w360,h260 光标遮罩9/12保留转换后的 Python/Spark 导入、会话构建与 parquet 读取7114-running-script-2020保留DCx60,y60,w475,h28010/12保留 2020 命令、Spark 警告与阶段进度7214-spark-submit-2021保留DCx60,y48,w475,h3009/12保留 2021 运行的 executor/scheduler 日志证据7315-create-cluster保留DCx0,y30,w535,h33010/12保留 Dataproc 集群创建步骤与选中的 Jupyter/Docker 组件7415-submit-job-form保留DCx280,y95,w360,h2659/12保留绿/黄输入与报告输出参数面板7515-job-finished-report保留DCx0,y30,w535,h32010/12保留桶身份、对象标签与code/、pq/、report-2021/目录7615-iam-dataproc-role移除—4/12说明文字声称添加 Dataproc Administrator 角色截图仅见 IAM 表格无该角色或添加动作7715-reports-in-bucket保留DCx0,y30,w145,h3309/12保留report-2020/与report-2021/目录证据7816-connector-tutorial保留DCx180,y52,w430,h27810/12保留 Dataproc 提交命令、GCS 参数与 BigQuery 连接器教程7916-failed-to-find-bigquery保留DCx60,y100,w540,h2409/12保留ClassNotFoundException、缺失bigquery数据源报错与堆栈证据8016-bigquery-table保留DCx0,y30,w535,h30010/12保留 BigQueryreports-2020表、项目树、模式与类型化字段六张被移除资产的共性值得特别关注的是 6 张被移除的图#5、#8、#26、#58、#61、#76它们暴露了技术文档插图最常见的四类问题图文不符硬性失败#58的说明文字与截图内容不一致、#76声称展示的角色添加动作在截图中不存在——这是评分最低2/12、4/12的硬门槛失败导航冗余#8的搜索结果页、#26的网站截图、#61的 Slack 帖子对教学内容零增量与文字重复#5的优点清单图与相邻优点图重复且不是文字描述的工作流时效性差#8的搜索结果会随搜索引擎变化而失效不满足耐久性要求。移除的决策同样保留原始 JPG 与审计记录保证任何时刻都能回溯。典型保留资产与教学点拆解从 74 张保留资产中可以清晰地反推出课程的教学主线这正是以教学点为纲审计的价值概念层imagegen 重绘批次 vs 流式对比见 01-introduction-to-batch-processing.md 第 32 行引用、Spark 集群解剖图组08-*四张提交链路、executor 故障转移、分区拉取、S3/GCS 替代 HDFS、groupBy 重分区白板图、mapPartitions 分区转换图见 12-spark-rdd-mappartition.md 第 20 行引用。这些图保留了教学标签、箭头方向与分组语义是文字无法替代的关系型证据。证据层确定性裁剪Spark 3.0.3 安装命令与 shell 输出、printSchema()类型化列、repartition(24)写 parquet、gsutil -m cp上传命令、Dataproc 创建表单与提交参数、BigQuery 连接失败的ClassNotFoundException堆栈。这些截图是可复现实验证据任何文字转述都会损失精确度因此严格禁止生成模型改写。例如课程第 1 课 01-introduction-to-batch-processing.md 中batch-vs-streaming 图与 80/20 占比图分别支撑批处理把一天数据一次处理完与多数数据处理是批处理两个论断第 12 课的 mapPartitions 图则直接支撑分区进、分区出的转换语义。留与不留都以这句话没有这张图是否还成立为判断基准。可追溯性与验证比改图更重要的是一致性本次盘点并非一次性清理而是一套可持续的治理闭环其验证标准包括完整性全部 80 个源引用都有审计条目74 张保留引用全部解析到同级的-cropped.png确定性裁剪或-imagegen.png受控生成资产且 80 个原始 JPG 全部仍在images/目录结果构成保留集中包含 17 张 imagegen 示意图与 57 张确定性技术裁剪质量门禁git diff --check对范围内的课程/报告文件全部通过工作区整洁一次性接触表与中间裁剪存放在 .tmp/de-batch-contact-sheets/ 等.tmp目录下不进入正式资产交付前从工作树移除。此外这一治理过程还有后续的严格语义修复记录见 cohorts/2027/06-batch/2026-09-09-follow-up-provenance.md它为 lessons 11–15 提供了权威的当前引用审计、每张图的 SHA-256 哈希链、原始 JPG → 原生裁剪 → imagegen 产物的完整溯源并记录了诸如分区箭头必须落在对应 executor 框内存储箭头不得交叉等细粒度验收标准。与仓库层面的 .tmp/de-2027-distrust-audit.md对全cohorts/2027的 175 处引用做信任审计移除 64 张无源支持的生成图配合构成了先信任审计、再语义修复、再逐条盘点的三级图像治理体系。对技术文档维护者的可复用方法论本次盘点的价值不在于改了一批图而在于沉淀了一套可迁移的插图治理流程先定范围再动手明确哪个目录、哪些引用属于本次治理边界用 Rubric 而非审美做决策教学点、相关性、可读性、补充性、耐久性、说明文字六项打分明确区分导航图与教学图按内容类型分流精确证据走确定性裁剪概念示意图走受控生成且生成必须以原始素材 原生边界裁剪为输入禁止凭空发挥删除不销毁被移除的资产保留原件与审计条目保证可追溯验证闭环引用解析、git diff --check、原生尺寸与课程渲染尺寸双重检查缺一不可。这套方法论同样适用于任何以教学视频/讲座为源头、以 Markdown 课程为载体的技术文档项目它回答的始终是同一个问题——这张图是证据还是装饰它是否配得上占据读者的一个屏幕【免费下载链接】data-engineering-zoomcampData Engineering Zoomcamp is a free 9-week course on building production-ready data pipelines. Join the course here 项目地址: https://gitcode.com/GitHub_Trending/da/data-engineering-zoomcamp创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考