尧图网站建设 
为什么值得把编码代理对话历史导出来DataClaw一键生成Hugging Face数据集快速上手【免费下载链接】dataclawAgent harness to publish your agent chat history as Huggingface datasets.项目地址: https://gitcode.com/gh_mirrors/da/dataclawDataClaw是一款把 Claude Code、Codex 等编码代理的对话历史一键导出为结构化数据集并发布到Hugging Face的开源工具。它能自动解析会话日志、脱敏密钥与个人隐私信息PII并上传为可直接load_dataset使用的数据集。本文将带你快速上手为什么值得导出、支持哪些代理、以及最短 5 步完成发布的完整流程。为什么值得导出编码代理的对话历史很多人用着 Claude Code、Codex CLI 这类编码代理却不知道自己的会话日志其实躺在本地磁盘里。把这份历史导出来至少有 3 个价值积累真实的「人机协作编程」语料每条数据都包含你的提问、代理的思考、工具调用与结果是市面上极少见的真实工作流数据。️沉淀个人知识资产按项目归档的会话能帮你回溯「当时为什么这么改」相当于 AI 时代的开发日记。参与分布式数据集共建所有 DataClaw 导出的仓库都带dataclaw标签大家的导出最终可能汇聚成一个持续增长的真实世界人类-AI 编程协作数据集详见 README.md。对研究者与模型团队来说这类数据可用于评测代理能力、微调指令跟随等场景——这也是该项目被定位为 Agent harness智能体数据底座的原因。DataClaw 能导出哪些内容支持8 类编码代理来源源码位于 dataclaw/providers.py来源 key对应代理claudeClaude CodecodexCodex CLIcursorCursorgeminiGemini CLIkimiKimi CLIopencodeOpenCodeopenclawOpenClawcustom自定义来源每个会话会导出为 conversations.jsonl 中的一行记录包含用户消息含语音转写与图片、代理回复、扩展思考可用--no-thinking关闭工具调用工具名、输入、输出与执行状态元数据模型名、git 分支、起止时间统计信息输入/输出 token 数、消息数、工具调用次数这样导出的数据带完整上下文而不是只有一问一答的「对话碎片」。快速上手5 步生成你的 Hugging Face 数据集DataClaw 的每个命令都会输出next_steps字段跟着提示走即可不需要死记流程规则见 AGENTS.md。第 1 步安装 DataClawMac 用户可直接下载 Apple Silicon 菜单栏应用应用内置 sidecar无需装 Python终端用户一条命令安装pip install -U dataclaw第 2 步准备环境与认证hf auth login --token YOUR_TOKEN dataclaw prepprep会扫描本机各代理的会话目录、检查 HF 认证并输出 JSON 告诉你下一步该做什么CLI 入口见 dataclaw/cli.py。第 3 步选择导出范围并设置脱敏词dataclaw config --repo username/my-coding-agent-data # 目标 HF 仓库 dataclaw config --source all # 导出全部来源或指定 claude/codex 等 dataclaw list --source all # 查看全部项目按需排除 dataclaw config --exclude personal-stuff,scratch # 排除不想分享的项目 dataclaw config --redact my-domain.com,internal-url # 追加自定义脱敏字符串第 4 步本地导出 隐私审查发布前必做dataclaw export --no-push # 只在本地生成 JSONL不上传 dataclaw jsonl-to-yaml # 转成人类可读 YAML方便逐条检查 dataclaw confirm --full-name 你的名字 \ --attest-full-name 已按全名扫描导出文件 \ --attest-sensitive 已检查公司名/内网地址 \ --attest-manual-scan 已抽查首/中/尾约20个会话confirm会执行 PII 扫描、验证你的审查声明并解锁发布权限——未完成确认的导出是无法推送的逻辑见 dataclaw/_cli/review.py。第 5 步一键发布到 Hugging Facedataclaw export --publish-attestation User explicitly approved publishing to Hugging Face.发布后HF 仓库自带conversations.jsonl、聚合统计的metadata.json以及包含模型分布、token 总量、项目数等内容的 README。其他用户一行代码即可加载from datasets import load_dataset ds load_dataset(alice/my-personal-codex-data, splittrain)内置隐私保护6 层自动脱敏对话历史里最容易泄露的其实是密钥和路径DataClaw 内置了多层防护核心实现见 dataclaw/anonymizer.py用户名脱敏——OS 用户名及自定义用户名替换为稳定哈希密钥脱敏——正则识别 JWT、Anthropic/OpenAI/HF/GitHub/AWS 等 API Key、私钥、数据库密码熵分析——标记引号内的高熵长串为可疑密钥邮箱脱敏——正则捕获邮箱地址自定义脱敏——通过--redact追加任意敏感字符串工具调用同等脱敏——工具输入输出与正文同样处理⚠️ 官方也明确提醒自动脱敏不是万能的发布前务必先--no-push本地审查。还可以用 dataclaw/jsonl_tools.py 提供的diff-jsonl对比两次导出确认新增内容没有意外。导出效果一览除了功能层面项目本身也有一套完整的测试保障涵盖各代理解析器与隐私过滤tests/ 目录下有 20 个测试文件并维护着各代理解析与官方格式的差距分析文档docs/方便你确认自己使用的代理是否被完整支持。常见问题QIntel Mac 能装吗当前菜单栏应用面向 Apple SiliconIntel Mac 可先用 CLI 方式pip install -U dataclaw。Q只想导出某一个代理的会话dataclaw config --source claude或codex、gemini等导出时同样可加--source参数。Q500 个会话以上导出要多久可能耗时 1–3 分钟属正常现象请给足超时时间。小结编码代理每天都在帮你写代码而这些协作过程本身正成为最稀缺的数据。DataClaw 把「解析日志 → 脱敏审查 → 发布 Hugging Face 数据集」压缩成一条命令行流程隐私审查和发布确认都有硬性关卡。现在就可以运行dataclaw prep看看你本机有多少会话可以导出了。【免费下载链接】dataclawAgent harness to publish your agent chat history as Huggingface datasets.项目地址: https://gitcode.com/gh_mirrors/da/dataclaw创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 为什么值得把编码代理对话历史导出来？DataClaw一键生成Hugging Face数据集快速上手
为什么值得把编码代理对话历史导出来DataClaw一键生成Hugging Face数据集快速上手【免费下载链接】dataclawAgent harness to publish your agent chat history as Huggingface datasets.项目地址: https://gitcode.com/gh_mirrors/da/dataclawDataClaw是一款把 Claude Code、Codex 等编码代理的对话历史一键导出为结构化数据集并发布到Hugging Face的开源工具。它能自动解析会话日志、脱敏密钥与个人隐私信息PII并上传为可直接load_dataset使用的数据集。本文将带你快速上手为什么值得导出、支持哪些代理、以及最短 5 步完成发布的完整流程。为什么值得导出编码代理的对话历史很多人用着 Claude Code、Codex CLI 这类编码代理却不知道自己的会话日志其实躺在本地磁盘里。把这份历史导出来至少有 3 个价值积累真实的「人机协作编程」语料每条数据都包含你的提问、代理的思考、工具调用与结果是市面上极少见的真实工作流数据。️沉淀个人知识资产按项目归档的会话能帮你回溯「当时为什么这么改」相当于 AI 时代的开发日记。参与分布式数据集共建所有 DataClaw 导出的仓库都带dataclaw标签大家的导出最终可能汇聚成一个持续增长的真实世界人类-AI 编程协作数据集详见 README.md。对研究者与模型团队来说这类数据可用于评测代理能力、微调指令跟随等场景——这也是该项目被定位为 Agent harness智能体数据底座的原因。DataClaw 能导出哪些内容支持8 类编码代理来源源码位于 dataclaw/providers.py来源 key对应代理claudeClaude CodecodexCodex CLIcursorCursorgeminiGemini CLIkimiKimi CLIopencodeOpenCodeopenclawOpenClawcustom自定义来源每个会话会导出为 conversations.jsonl 中的一行记录包含用户消息含语音转写与图片、代理回复、扩展思考可用--no-thinking关闭工具调用工具名、输入、输出与执行状态元数据模型名、git 分支、起止时间统计信息输入/输出 token 数、消息数、工具调用次数这样导出的数据带完整上下文而不是只有一问一答的「对话碎片」。快速上手5 步生成你的 Hugging Face 数据集DataClaw 的每个命令都会输出next_steps字段跟着提示走即可不需要死记流程规则见 AGENTS.md。第 1 步安装 DataClawMac 用户可直接下载 Apple Silicon 菜单栏应用应用内置 sidecar无需装 Python终端用户一条命令安装pip install -U dataclaw第 2 步准备环境与认证hf auth login --token YOUR_TOKEN dataclaw prepprep会扫描本机各代理的会话目录、检查 HF 认证并输出 JSON 告诉你下一步该做什么CLI 入口见 dataclaw/cli.py。第 3 步选择导出范围并设置脱敏词dataclaw config --repo username/my-coding-agent-data # 目标 HF 仓库 dataclaw config --source all # 导出全部来源或指定 claude/codex 等 dataclaw list --source all # 查看全部项目按需排除 dataclaw config --exclude personal-stuff,scratch # 排除不想分享的项目 dataclaw config --redact my-domain.com,internal-url # 追加自定义脱敏字符串第 4 步本地导出 隐私审查发布前必做dataclaw export --no-push # 只在本地生成 JSONL不上传 dataclaw jsonl-to-yaml # 转成人类可读 YAML方便逐条检查 dataclaw confirm --full-name 你的名字 \ --attest-full-name 已按全名扫描导出文件 \ --attest-sensitive 已检查公司名/内网地址 \ --attest-manual-scan 已抽查首/中/尾约20个会话confirm会执行 PII 扫描、验证你的审查声明并解锁发布权限——未完成确认的导出是无法推送的逻辑见 dataclaw/_cli/review.py。第 5 步一键发布到 Hugging Facedataclaw export --publish-attestation User explicitly approved publishing to Hugging Face.发布后HF 仓库自带conversations.jsonl、聚合统计的metadata.json以及包含模型分布、token 总量、项目数等内容的 README。其他用户一行代码即可加载from datasets import load_dataset ds load_dataset(alice/my-personal-codex-data, splittrain)内置隐私保护6 层自动脱敏对话历史里最容易泄露的其实是密钥和路径DataClaw 内置了多层防护核心实现见 dataclaw/anonymizer.py用户名脱敏——OS 用户名及自定义用户名替换为稳定哈希密钥脱敏——正则识别 JWT、Anthropic/OpenAI/HF/GitHub/AWS 等 API Key、私钥、数据库密码熵分析——标记引号内的高熵长串为可疑密钥邮箱脱敏——正则捕获邮箱地址自定义脱敏——通过--redact追加任意敏感字符串工具调用同等脱敏——工具输入输出与正文同样处理⚠️ 官方也明确提醒自动脱敏不是万能的发布前务必先--no-push本地审查。还可以用 dataclaw/jsonl_tools.py 提供的diff-jsonl对比两次导出确认新增内容没有意外。导出效果一览除了功能层面项目本身也有一套完整的测试保障涵盖各代理解析器与隐私过滤tests/ 目录下有 20 个测试文件并维护着各代理解析与官方格式的差距分析文档docs/方便你确认自己使用的代理是否被完整支持。常见问题QIntel Mac 能装吗当前菜单栏应用面向 Apple SiliconIntel Mac 可先用 CLI 方式pip install -U dataclaw。Q只想导出某一个代理的会话dataclaw config --source claude或codex、gemini等导出时同样可加--source参数。Q500 个会话以上导出要多久可能耗时 1–3 分钟属正常现象请给足超时时间。小结编码代理每天都在帮你写代码而这些协作过程本身正成为最稀缺的数据。DataClaw 把「解析日志 → 脱敏审查 → 发布 Hugging Face 数据集」压缩成一条命令行流程隐私审查和发布确认都有硬性关卡。现在就可以运行dataclaw prep看看你本机有多少会话可以导出了。【免费下载链接】dataclawAgent harness to publish your agent chat history as Huggingface datasets.项目地址: https://gitcode.com/gh_mirrors/da/dataclaw创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考