DataClaw支持哪些数据源Claude Code、Codex、Gemini CLI、Cursor等7大编码代理全景解析【免费下载链接】dataclawAgent harness to publish your agent chat history as Huggingface datasets.项目地址: https://gitcode.com/gh_mirrors/da/dataclawDataClaw 支持哪些数据源这款开源的编码代理聊天记录导出工具Agent Harness能够解析 Claude Code、Codex、Gemini CLI、Cursor 等 7 大 AI 编码代理的本地会话日志自动脱敏后一键发布为 Hugging Face 数据集帮你把散落在各工具里的人机协作数据变成可复用、可分享的开源数据集。一、DataClaw 是什么一条命令导出编码代理对话数据 如果你每天都在用 AI 编码代理写代码那你一定积累下了大量宝贵的对话记录需求描述、思考过程、工具调用、Token 消耗……这些数据只躺在本地日志里很少有人能把它变成结构化数据集。DataClaw 就是解决这个问题的开源项目MIT 协议解析各编码代理的本地会话日志脱敏密钥、个人身份信息用户名哈希化、API Key 正则识别、熵分析等导出为统一 JSONL 格式并发布到 Hugging Face所有导出都会打上dataclaw标签逐步汇聚成一个真实的人机协作编码数据集安装非常简单一条命令即可pip install -U dataclaw也可以下载 macOS 菜单栏应用Apple Silicon无需单独安装 Python 环境。完整命令列表可参考 README.md 的 Commands 章节。二、7大编码代理数据源全景解析支持哪些编码代理DataClaw 把每个编码代理封装为一个独立的 Provider解析器统一注册在 dataclaw/providers.py 中所有解析器源码都集中在 dataclaw/parsers/ 目录。目前内置7 大编码代理数据源 1 个自定义数据源数据源键--source编码代理本地日志位置解析器源码claudeClaude Code~/.claudeclaude.pycodexOpenAI Codex CLI~/.codexcodex.pycursorCursorAI IDE各平台state.vscdb数据库cursor.pygeminiGemini CLI~/.gemini/tmpgemini.pykimiKimi CLI~/.kimikimi.pyopencodeOpenCode~/.local/share/opencodeopencode.pyopenclawOpenClaw~/.openclawopenclaw.pycustom自定义数据源~/.dataclaw/customcustom.py下面逐个快速了解每个数据源的特点。1. Claude Code维护最完善的核心数据源Claude Code 是 DataClaw 支持最深入的数据源源码 dataclaw/parsers/claude.py。日志位于~/.claudeDataClaw 会解析其中的会话 JSONL 文件导出用户消息含语音转录和图片、助手回复、扩展思考块可用--no-thinking关闭、工具调用的输入输出、每个会话的 Token 用量以及模型名称、Git 分支、时间戳等元数据。它还是唯一支持Skill的代理运行dataclaw update-skill claude后可以直接让 Claude Code 自己引导你走完整导出流程。团队还专门维护了 docs/claude-code-vs-cchv-gaps.md 来持续对齐 Claude Code 日志的覆盖细节。2. Codex CLIOpenAI 编码代理的会话日志Codex CLI 的日志在~/.codex由 dataclaw/parsers/codex.py 解析与 Claude Code 解析器并列为官方最推荐参考的两个成熟实现。导出时会同样带上消息、思考、工具调用和 Token 统计。3. Gemini CLIGoogle 官方编码代理Gemini CLI 的会话记录保存在~/.gemini/tmp对应解析器 dataclaw/parsers/gemini.py补齐了 Google 系编码代理的数据源空缺。4. Cursor唯一非 CLI数据源直接读 IDE 数据库Cursor 的数据源比较特别它不是文本日志而是 IDE 内的 SQLite 数据库state.vscdb。DataClaw 的 dataclaw/parsers/cursor.py 会按操作系统自动定位路径macOS / Windows / Linux 三套以只读模式打开数据库提取 Agent 对话记录无需你手动找文件。5. Kimi CLI、OpenCode、OpenClaw新兴代理全覆盖Kimi CLI~/.kimikimi.py支持 Moonshot 的命令行编码代理OpenCode~/.local/share/opencodeopencode.py开源编码代理OpenClaw~/.openclawopenclaw.py解析agents子目录下的多代理会话6. Custom 自定义数据源没有内置解析器怎么办如果其他代理没有现成解析器你还可以把 JSONL 文件放进~/.dataclaw/custom/项目名/目录见 dataclaw/parsers/custom.py走通用数据源导出。项目官方也鼓励社区贡献让你正在用的编码代理阅读本仓库、参考 Claude Code 和 Codex 解析器自己实现一个新 Provider 并提交。三、统一数据模型所有数据源导出成同一种格式无论来自哪个编码代理DataClaw 都导出成统一的结构化 JSONL——每行一个会话包含用户消息含图片、语音转录等多模态内容助手回复与扩展思考工具调用工具名、输入、输出、执行状态Token 用量每会话的输入/输出 Token 数元数据模型名、Git 分支、起止时间戳这样来自 Claude Code、Codex、Cursor 的数据可以无缝合并训练或分析。字段细节见 README.md 的 Data schema 一节还可以用dataclaw jsonl-to-yaml命令把导出的 JSONL 转成人类可读的 YAML 便于人工检查。四、隐私保护发布前的多层脱敏 编码代理日志里最容易泄露的就是密钥和个人信息。DataClaw 在 dataclaw/anonymizer.py 与 dataclaw/secrets.py 中实现了多层防护用户名哈希化系统用户名 你配置的用户名替换为稳定哈希密钥正则识别覆盖 JWT、Anthropic/OpenAI/HF/GitHub/AWS API Key、数据库密码、私钥、Discord Webhook 等详见 dataclaw/secrets.py熵分析自动标记引号内的高熵长字符串邮箱脱敏自定义脱敏词dataclaw config --redact 公司内部域名,客户名称可追加任意敏感词工具调用同标准脱敏工具输入输出与正文同等处理⚠️ 官方明确提醒自动脱敏并非万无一失发布前请务必用dataclaw export --no-push先本地导出并人工审查dataclaw confirm命令还会强制执行一次全名扫描与人工确认声明attestation确认后才能解锁发布。五、快速上手3步选择数据源并导出导出流程被设计成跟着next_steps走的向导式体验完整规则见 AGENTS.md准备dataclaw prep—— 自动发现各数据源项目并检查 Hugging Face 登录态选数据源dataclaw config --source claude选单一代理或dataclaw config --source all导出全部 7 大编码代理再用dataclaw list --source all查看项目清单并排除敏感项目导出与发布dataclaw export --no-push先本地导出 →dataclaw confirm完成隐私确认 →dataclaw export --publish-attestation ...发布到 Hugging FaceMac 用户则可以直接打开菜单栏应用在图形界面完成同样的流程应用源码在 app/src/含仪表盘、日志、配置等页面。六、项目结构与扩展指南 DataClaw 的核心代码组织清晰方便你按需深入或贡献新数据源dataclaw/providers.pyProvider 注册表与统一接口dataclaw/parsers/7 大编码代理 custom 解析器dataclaw/cli.py命令行入口所有命令输出next_steps指引docs/各数据源Claude Code、Codex、Cursor、Gemini、OpenCode与同类工具的差异对比文档tests/覆盖各解析器与脱敏逻辑的完整测试套件如果你想接入自己常用的编码代理官方建议的路径是让该代理阅读本仓库参考 Claude Code 与 Codex 解析器实现按统一 schema 导出消息、工具调用与二进制内容然后提交 PR。总结DataClaw 目前覆盖 Claude Code、Codex CLI、Gemini CLI、Cursor、Kimi CLI、OpenCode、OpenClaw 共 7 大编码代理数据源外加自定义数据源通道。无论你在用哪款 AI 编码工具都可以用它把宝贵的对话历史变成受脱敏保护、格式统一、可公开发布的 Hugging Face 数据集。【免费下载链接】dataclawAgent harness to publish your agent chat history as Huggingface datasets.项目地址: https://gitcode.com/gh_mirrors/da/dataclaw创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考