llm-wiki-compiler审查策略实战让人工审核AI生成的页面防止幻觉污染知识库【免费下载链接】llm-wiki-compilerThe knowledge compiler. Raw sources in, interlinked wiki out. Inspired by Karpathys LLM Wiki pattern.项目地址: https://gitcode.com/gh_mirrors/ll/llm-wiki-compilerllm-wiki-compiler是一款把原始资料编译成互链 Wiki 知识库的开源工具而它的审查策略Review Policy正是为 AI 生成内容上的第一道安全阀在页面写入wiki/之前先由人工把关从源头防止 LLM 幻觉混入你的知识库。本文带你快速上手--review全量审查、自动拦截策略、四大数据风险信号以及审批队列的日常操作。为什么 AI 生成的页面需要人工审查llm-wiki-compiler 遵循 Karpathy 提出的 LLM Wiki 模式先把论文、笔记、网页等原始素材一次性编译成带引用、带元数据的 Markdown 页面而不是每次提问都临时拼凑。这个模式的最大优势是知识会不断积累复用——但同时也意味着AI 写错的每一页都会被反复引用。一次幻觉、一处编造的引用如果被直接写进wiki/就会成为后续所有查询和 Agent 上下文的一部分像污染水源一样扩散。审查队列的价值就在于在你点头之前wiki 绝不改变。两种审查入口全量拦截与自动策略llm-wiki-compiler 提供两层审查机制可按团队信任程度自由选择详见 review CLI 文档一键全量审查compile --review给任意 compile 命令加上--review所有新生成的页面都会先进入.llmwiki/candidates/候选目录而不是直接落盘llmwiki compile --review这是全有或全无模式——适合冷启动阶段、或对模型输出还不够放心的场景。自动拦截策略只拦风险页放行安全页更精细的做法是在.llmwiki/config.json中声明一份审查策略让常规编译照常直写大多数页面只自动拦截触发风险条件的少数页面完整配置说明见 review-policy.mdx{ version: 1, review: { hold: [low-confidence, contradicted, schema-violating, provenance-violating], lowConfidenceThreshold: 0.5 } }这样高置信度页面秒写、风险页面排队在审查摩擦与编译效率之间取得平衡。四大风险信号哪些页面会被自动拦截策略的判定逻辑是一段纯函数式的规则评估源码policy.ts页面触发任一启用的模式即被暂扣原有线上页面保持不动。各模式含义一目了然风险代码触发条件拦截的理由low-confidence页面confidence低于阈值默认 0.5或干脆没写置信度模型自己不确定幻觉风险最高contradicted页面声明了contradictedBy与其他页面内容冲突知识自相矛盾需人工裁决schema-violating未通过.llmwiki/schema.json的交叉链接规则结构性不完整可能是拼凑出的内容provenance-violating引用指向不存在的源文件、行号范围非法或引用标记损坏证据链断裂——幻觉的典型信号all无条件拦截所有页面等价于compile --review但持久生效每次编译结束后llm-wiki-compiler 会报告拦截结果例如Wrote 8 page(s), held 2 for review让你对知识库的进出账心中有数。审查队列日常操作4 条命令走完审批流被暂扣的页面会带着明确的拦截原因码存储在.llmwiki/candidates/中用 review 子命令即可逐个处理llmwiki review list # 查看待审候选及拦截原因 llmwiki review show id # 预览全文、引用、置信度、冲突标记 llmwiki review approve id # 批准写入 wiki/ 并刷新索引 llmwiki review reject id # 拒绝归档留痕不动 wiki/几个值得注意的设计细节审批不重新调用大模型。批准的页面就是你审查过的那份字节杜绝审的是 A上线的是 B。拒绝是有粘性的。被拒候选移入.llmwiki/candidates/archive/供审计只要源文件不变下次编译不会重新生成同页。批量审批。review approve-batch --input manifest.json可用一次锁、一次共享刷新批准最多 100 个候选适合周期性集中审查。过期自动修复也走同一策略。llmwiki refresh --stale重编译过期页面时同样遵守审查策略风险页依然先排队。审批成功后页面写入wiki/concepts/slug.md索引、Map of Content、嵌入向量、Wikilink 修复一次性刷新候选文件随后清理——整个过程在 wiki-model.mdx 中有完整目录结构说明。批准后的知识库可以运行llmwiki view --open在本地浏览器中浏览左侧Reviews一栏实时显示待审候选数量页面右侧展示来源文件与新鲜度标记审查闭环在视觉上同样透明。失败即拦截审查策略为何fail-closed审查配置本身也做了防误用设计如果hold数组中出现未知模式名或config.json损坏无法解析compile 会直接报错中止而不是悄悄禁用策略、把所有页面放行直写。这一点在安全模型里很关键——它保证了一条配置错误 → 审查被绕过 → 幻觉直接入库的静默通道不存在配置解析逻辑见 config.ts。审查策略适用场景速查场景推荐配置个人笔记库信任模型输出不开启审查默认直写共享团队 Wiki / 对外权威知识库全量拦截hold: [all]生产级知识库追求效率与安全的平衡四种风险信号全开调低置信阈值引入外部 OKF 包或 Connector 抓取内容默认自动进队列外部内容一律视为不可信批准时需用--draft-content-hash固定你审查过的正文配合llmwiki lint与llmwiki eval质量门见 ci-quality-gates.mdx你可以把人工审查 自动质检做成 CI 里的固定关卡让知识库的每一次增长都可审计、可追溯。延伸阅读审查策略完整配置review 命令参考Karpathy LLM Wiki 模式Wiki 目录与状态模型审查策略源码【免费下载链接】llm-wiki-compilerThe knowledge compiler. Raw sources in, interlinked wiki out. Inspired by Karpathys LLM Wiki pattern.项目地址: https://gitcode.com/gh_mirrors/ll/llm-wiki-compiler创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考