尧图网站建设 
yichen-skills 内容归档实战抖音/小红书已知链接的安全抓取与防覆盖策略【免费下载链接】yichen-skills项目地址: https://gitcode.com/gh_mirrors/yi/yichen-skills如果你经常需要把抖音、小红书上的标杆内容存到本地yichen-skills开源项目里的内容归档能力值得关注。它通过内置的yichen-content-archive技能帮你安全抓取已知链接并自动防覆盖让归档过程不搜索、不越权、不丢文件。为什么需要已知链接归档做内容创作时我们常想收集一批对标视频和笔记。但很多万能下载工具会顺手搜索关键词、爬取整个账号页既容易触发平台风控也容易把账号状态暴露出去。yichen-content-archive的设计思路完全不同只处理你当轮明确给出的链接。它的入口闸门只接受四类输入——你直接给出的一到多个内容 URL你提供的本地 URL 清单文件上游流程中标记为已确认的候选项你明确指定的精确容器如播放列表、播客清单不满足这些条件时它会直接停下来说明需要什么而不是替你顺便搜一下。这套规则完整定义在 yichen-content-archive/SKILL.md 中。抖音已知链接元数据与下载分开抖音路线由内置执行器 douyin_download.py 负责它有两道关键设计严格校验链接来源脚本只接受https://*.douyin.com的已知视频链接其他域名一律拒绝从源头避免它变成通用爬虫。读取与下载分离加上--metadata-only参数时只读取标题、描述等元数据不下载视频去掉该参数才会真正下载。这样你可以先低成本看一眼再决定是否保存。首次运行时如果缺少 Playwright 浏览器内核脚本会自动完成安装无需手动折腾环境。小红书已知链接匿名优先Cookie 需当轮授权小红书路线由 xiaohongshu_fetch.py 承担策略是匿名优先、逐级放宽默认以匿名方式请求笔记页面优先解析页面内嵌的结构化状态数据失败时再回退到网页 meta 信息加上--skip-media只读 HTML 与元数据去掉该参数才下载笔记中的图片或视频只有当匿名方式失败、且你对当前这条笔记明确授权后才会使用--use-cookie注入登录态——而且 Cookie 不会被读取、打印或保存链接校验同样严格只接受小红书及短链域名的 HTTPS 链接防止误传其他站点。防覆盖策略重跑一万次也不丢文件批量归档最怕的意外是重复执行时把上次抓到的文件悄悄覆盖掉。这个技能把所有执行器都接入了统一的防覆盖机制核心规则只有一句话——目标已存在时创建不冲突的新目录或新文件名绝不静默覆盖。具体来说重复运行同一链接时输出会自动落到xxx-run-2、xxx-run-3这样的新目录里部分执行器如播客路线在恢复下载前还会校验文件大小和 SHA-256 是否一致发现文件被改动就拒绝复用并报错而不是悄悄重写。这套行为并不是口头约定而是有专门的自动化测试保障见 test_overwrite_guards.py各执行器的约束汇总在 executor-safety.md 中每个脚本都有同名小节首次调用前读取即可。归档产物长什么样一次归档完成后输出目录里会自动生成一套证据文件方便你核对结果archive-manifest.jsonl每个输入项一行记录平台、来源、状态、产物路径run-summary.json本次运行的汇总failures.json失败项清单及原因handoff.json标准交接文件说明实际授权范围与后续需要确认的动作批量任务失败时会记录原因并继续处理其余条目低并发、可断点续跑。单条失败不会拖垮整个批次。平台路由速查一分钟选对工具各平台的可用操作与禁止项在 platform-routes.md 中有完整对照表。常用的几行如下平台只读元数据下载归档明确禁止抖音--metadata-only去掉该参数搜索、账号发现小红书--skip-media去掉该参数搜索笔记、收藏扩展微博info匿名读取download单项账号页、热榜、评论普通网页Jina Reader 只读写入新文件无界站点爬取三步上手内容归档准备环境安装 Python 3.9抖音路线需要pip install playwright requests小红书路线只需pip install requests安装技能把yichen-content-archive目录放到你 Agent 的技能目录如~/.agents/skills/保持目录名不变开始归档把已知的抖音或小红书链接直接发给你的 Agent并明确说只读元数据或下载视频动作越具体执行越可控 一个小技巧如果不确定某条链接能不能读先让它走只读元数据模式跑一遍确认无误再执行下载整个过程不会动你的旧文件。边界与合规提醒这个技能刻意保留了大量不做什么不绕过登录墙、验证码和付费内容不把读取推断成下载不自动读取私人收藏也不删除任何文件。敏感 URL 在清单中优先用文件行号引用避免完整链接散落进日志。完整的能力清单和边界说明建议通读一遍 README.md 与 yichen-content-archive/SKILL.md再开始批量作业——花五分钟看清规则能省下之后很多返工。【免费下载链接】yichen-skills项目地址: https://gitcode.com/gh_mirrors/yi/yichen-skills创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 yichen-skills 内容归档实战：抖音/小红书已知链接的安全抓取与防覆盖策略
yichen-skills 内容归档实战抖音/小红书已知链接的安全抓取与防覆盖策略【免费下载链接】yichen-skills项目地址: https://gitcode.com/gh_mirrors/yi/yichen-skills如果你经常需要把抖音、小红书上的标杆内容存到本地yichen-skills开源项目里的内容归档能力值得关注。它通过内置的yichen-content-archive技能帮你安全抓取已知链接并自动防覆盖让归档过程不搜索、不越权、不丢文件。为什么需要已知链接归档做内容创作时我们常想收集一批对标视频和笔记。但很多万能下载工具会顺手搜索关键词、爬取整个账号页既容易触发平台风控也容易把账号状态暴露出去。yichen-content-archive的设计思路完全不同只处理你当轮明确给出的链接。它的入口闸门只接受四类输入——你直接给出的一到多个内容 URL你提供的本地 URL 清单文件上游流程中标记为已确认的候选项你明确指定的精确容器如播放列表、播客清单不满足这些条件时它会直接停下来说明需要什么而不是替你顺便搜一下。这套规则完整定义在 yichen-content-archive/SKILL.md 中。抖音已知链接元数据与下载分开抖音路线由内置执行器 douyin_download.py 负责它有两道关键设计严格校验链接来源脚本只接受https://*.douyin.com的已知视频链接其他域名一律拒绝从源头避免它变成通用爬虫。读取与下载分离加上--metadata-only参数时只读取标题、描述等元数据不下载视频去掉该参数才会真正下载。这样你可以先低成本看一眼再决定是否保存。首次运行时如果缺少 Playwright 浏览器内核脚本会自动完成安装无需手动折腾环境。小红书已知链接匿名优先Cookie 需当轮授权小红书路线由 xiaohongshu_fetch.py 承担策略是匿名优先、逐级放宽默认以匿名方式请求笔记页面优先解析页面内嵌的结构化状态数据失败时再回退到网页 meta 信息加上--skip-media只读 HTML 与元数据去掉该参数才下载笔记中的图片或视频只有当匿名方式失败、且你对当前这条笔记明确授权后才会使用--use-cookie注入登录态——而且 Cookie 不会被读取、打印或保存链接校验同样严格只接受小红书及短链域名的 HTTPS 链接防止误传其他站点。防覆盖策略重跑一万次也不丢文件批量归档最怕的意外是重复执行时把上次抓到的文件悄悄覆盖掉。这个技能把所有执行器都接入了统一的防覆盖机制核心规则只有一句话——目标已存在时创建不冲突的新目录或新文件名绝不静默覆盖。具体来说重复运行同一链接时输出会自动落到xxx-run-2、xxx-run-3这样的新目录里部分执行器如播客路线在恢复下载前还会校验文件大小和 SHA-256 是否一致发现文件被改动就拒绝复用并报错而不是悄悄重写。这套行为并不是口头约定而是有专门的自动化测试保障见 test_overwrite_guards.py各执行器的约束汇总在 executor-safety.md 中每个脚本都有同名小节首次调用前读取即可。归档产物长什么样一次归档完成后输出目录里会自动生成一套证据文件方便你核对结果archive-manifest.jsonl每个输入项一行记录平台、来源、状态、产物路径run-summary.json本次运行的汇总failures.json失败项清单及原因handoff.json标准交接文件说明实际授权范围与后续需要确认的动作批量任务失败时会记录原因并继续处理其余条目低并发、可断点续跑。单条失败不会拖垮整个批次。平台路由速查一分钟选对工具各平台的可用操作与禁止项在 platform-routes.md 中有完整对照表。常用的几行如下平台只读元数据下载归档明确禁止抖音--metadata-only去掉该参数搜索、账号发现小红书--skip-media去掉该参数搜索笔记、收藏扩展微博info匿名读取download单项账号页、热榜、评论普通网页Jina Reader 只读写入新文件无界站点爬取三步上手内容归档准备环境安装 Python 3.9抖音路线需要pip install playwright requests小红书路线只需pip install requests安装技能把yichen-content-archive目录放到你 Agent 的技能目录如~/.agents/skills/保持目录名不变开始归档把已知的抖音或小红书链接直接发给你的 Agent并明确说只读元数据或下载视频动作越具体执行越可控 一个小技巧如果不确定某条链接能不能读先让它走只读元数据模式跑一遍确认无误再执行下载整个过程不会动你的旧文件。边界与合规提醒这个技能刻意保留了大量不做什么不绕过登录墙、验证码和付费内容不把读取推断成下载不自动读取私人收藏也不删除任何文件。敏感 URL 在清单中优先用文件行号引用避免完整链接散落进日志。完整的能力清单和边界说明建议通读一遍 README.md 与 yichen-content-archive/SKILL.md再开始批量作业——花五分钟看清规则能省下之后很多返工。【免费下载链接】yichen-skills项目地址: https://gitcode.com/gh_mirrors/yi/yichen-skills创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考