ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

llm-wiki-compiler 多格式导出实战:JSON、GraphML、Marp、llms.txt 与 OKF 跨工具知识交换完整指南

llm-wiki-compiler 多格式导出实战:JSON、GraphML、Marp、llms.txt 与 OKF 跨工具知识交换完整指南 llm-wiki-compiler 多格式导出实战JSON、GraphML、Marp、llms.txt 与 OKF 跨工具知识交换完整指南【免费下载链接】llm-wiki-compilerThe knowledge compiler. Raw sources in, interlinked wiki out. Inspired by Karpathys LLM Wiki pattern.项目地址: https://gitcode.com/gh_mirrors/ll/llm-wiki-compilerllm-wiki-compiler命令行工具名为llmwiki是一个知识编译器把论文、笔记、PDF、网页等原始素材编译成带引用的互联 Markdown 维基而它的多格式导出能力——llmwiki export一条命令就能把维基变成JSON、JSON-LD、GraphML、Marp 幻灯片、llms.txt 以及 OKFOpen Knowledge Format知识交换包——让编译好的知识可以无缝流向其他工具。本文面向新手带你从零看懂每种导出格式的用途、命令与产物结构。为什么需要多格式导出编译出来的维基本身是一堆 Markdown 文件这对人很友好但对其他系统就不够用了你的下游系统最合适的导出格式LLM / Agent 上下文llms.txt紧凑索引或llms-full.txt全文程序化导入、数据库、记忆系统JSON语义网、知识图谱工具JSON-LDGephi、Cytoscape 等图可视化GraphML汇报、分享幻灯片Marp与其他知识管理工具交换OKF目录包关键是导出是纯转换——不调用 LLM、不修改wiki/和sources/里任何文件产物统一写到dist/exports/或你指定的--out目录随时可以重跑。一键导出 6 种默认格式不带任何参数直接运行llmwiki export就会一次性导出全部 6 种单文件格式llms.txt、llms-full.txt、wiki.json、wiki.jsonld、wiki.graphml、wiki.mdMarp 文稿。指定单一格式也很简单llmwiki export --target json # 只导 JSON llmwiki export --target graphml # 只导 GraphML所有目标名称定义在 src/export/types.ts 中完整命令文档见 docs/cli/export.mdx。逐格式解析每种导出长什么样1. JSON结构化知识的数据契约wiki.json是一个信封结构envelope顶层含version、projectId、exportedAt和pages数组每个页面对象携带kindconcept/entity/comparison/overview、summary、confidence置信度、provenanceState溯源状态、citations来源与行号引用、aliases、freshness新鲜度和完整body。llmwiki export --target json --project-id my-research-wiki两个实战要点--project-id让 ID 稳定下游系统用它派生每页记录的唯一 ID。重复导出再导入时页面映射到同一条记录而不是产生重复。如果你用 Atomic Memory 桥接务必每次传同一个值。freshness字段可直接过滤stale表示来源已变更下游消费前可先剔除。格式实现见 src/export/json-export.ts。2. GraphML把维基链接图交给 Gephi维基页面之间的[[wikilink]]天然构成一张有向图。--target graphml把每个页面变成节点携带 title、summary、tags、sources 属性每条 wikilink 变成有向边生成标准 GraphML XML——可直接导入 Gephi、Cytoscape、NetworkX 等工具一眼看出哪些概念是枢纽、哪些页面孤悬。llmwiki export --target graphml节点与边的序列化逻辑在 src/export/graphml.ts。它还会自动丢弃指向不存在页面的悬挂边保证图完整可解析。3. Marp维基秒变幻灯片--target marp把每个页面变成一张幻灯片标题、摘要、标签、来源、时间戳加上正文首段摘录不超过 300 字符元数据自动放进演讲者备注。用 Marp CLI 或 VS Code 的 Marp 扩展打开wiki.md即可演示。llmwiki export --target marp # 全部页面 llmwiki export --target marp --source concepts # 只讲概念页 llmwiki export --target marp --source queries # 只讲已保存的问答--source过滤器让只分享概念、不带草稿问答变得很容易。单页转幻灯片的规则见 src/export/marp.ts。4. llms.txt喂给 LLM 的紧凑地图llms.txt遵循 llmstxt.org 规范H1 项目标题 每个页面一条标题: 摘要 | tags | sources的条目紧凑到可以直接贴进 LLM 上下文窗口让模型先读目录再按需取正文。llms-full-txt则是把每个页面的完整正文都塞进一个文件适合需要一次性灌入全库的场景。llmwiki export --target llms-txt llmwiki export --target llms-full-txtOKF与其他知识工具交换的通用语言OKFOpen Knowledge Format是 Google Cloud 发起的用带结构化 frontmatter 的 Markdown 文件包共享编译知识的格式。llmwiki 同时是它的生产者与消费者这是六种格式中唯一双向的。导出 OKF 包llmwiki export --target okf --out ./dist/knowledge-bundle产物是一个目录包knowledge-bundle/ index.md # 目录带 okf_version frontmatter concepts/*.md # 概念页 queries/*.md # 问答页 references/ # 被引用的源文件副本 log.md # 按日期分组的变更日志每个页面除标准 OKF 字段type、title、description、tags、timestamp外还带一个x-llmwiki元数据块来源文件、引用、新鲜度、溯源状态和正文的 SHA-256 内容哈希——接收方既能读正文也能审计内容是否被改动过。导入 OKF 包默认走人工审核反向操作同样简单且默认审阅优先llmwiki import --okf ./partner-bundle --dry-run # 先预览零写入 llmwiki import --okf ./partner-bundle # 进入审核队列 llmwiki review list llmwiki review approve candidate-id外部包默认只生成审核候选reviewMode: imported你批准后才写入wiki/全程不调 LLM。只有当你完全信任包的来源时才加--trusted直接落盘。导入细节见 docs/cli/import.mdx完整往返流程见 docs/guides/open-knowledge-format.mdx。实战建议怎么选、怎么配给 Agent 用→llms-txt起步需要全量上下文再上llms-full-txt入库/接记忆系统→json 固定--project-id重导不产生重复记录做知识图谱分析→graphml导入 Gephi 先看枢纽节点给团队做汇报→marp --source concepts一页一个概念跨工具交换→okf导出时给伙伴目录指定--out导入时先--dry-run再人工审批。导出是幂等的纯转换同样的维基两次导出字节一致页面没声明的时间戳不会被补成导出时刻。想要 CI 里做质量门禁可配合llmwiki lint与llmwiki eval使用。更多命令参考docs/cli/架构与所有权边界ARCHITECTURE.md示例维基无需 API Key 即可查看examples/basic/。【免费下载链接】llm-wiki-compilerThe knowledge compiler. Raw sources in, interlinked wiki out. Inspired by Karpathys LLM Wiki pattern.项目地址: https://gitcode.com/gh_mirrors/ll/llm-wiki-compiler创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表