我们在 83 个网站上部署了 llms.txt12 周里 OpenAI 的爬虫只读取了 7 次这说明什么如果你正在做 AI 搜索、RAG 应用或者运营一个希望被大模型“读懂”的网站llms.txt 这个名字你应该不陌生。它的目标很直接给网站写一份“给 AI 看的说明文件”让 LLM 在抓取和引用你的内容之前先通过这份文件理解站点结构、推荐入口和内容边界。但最近有个不完全统计很有意思有人在 83 个网站上部署了 llms.txt12 周之后查看日志发现 OpenAI 的爬虫只访问了其中的 7 次。7 次平均每个网站每 12 周不到 0.1 次。这个数字不算漂亮。它引出的问题比它回答的更多llms.txt 到底有没有用OpenAI 的爬虫到底读不读它我们的内容要怎样才更容易被 AI 检索到这篇文章不打算给你一个“llms.txt 已死”或者“llms.txt 即将爆发”的结论。我想做的是把这组数据放进真实的技术语境里和你一起拆解 llms.txt 的原理、部署方式、爬虫兼容性以及它对 RAG 应用、AI 搜索和内容运营的真实影响。无论你是后端开发、算法工程师还是内容平台的技术负责人这篇文章都会给你一个更冷静的判断框架。1. 这篇文章真正要解决的问题先说痛点。过去半年越来越多的团队开始做“AI 搜索”和“RAG 知识库”。大家遇到的最头疼的问题不是模型能力不够而是检索不到高质量、结构化的网页内容。大模型要回答某个非热门问题背后依赖的是爬虫抓下来的页面而这些页面往往是 HTML 混合着导航、广告、脚本和排版噪音。为了让 AI 更好地理解网站内容llms.txt 被提了出来。它把网站的可读文本、内容入口、相关链接整理成一个纯净的 Markdown 文件让 LLM 在真正深挖网站之前先快速掌握站点全貌。但问题来了协议设计得再美好如果爬虫厂商不积极支持它就只是自嗨。所以很多人看完那组“83 个网站12 周7 次读取”的数据后第一反应是是不是 OpenAI 压根不 care llms.txt这个判断可能下得太早了。从技术逻辑看OpenAI 的爬虫OAI-SearchBot 和 GPTBot对 llms.txt 的支持是一个渐进过程。OpenAI 官方文档已经把 llms.txt 列入了爬虫识别内容的参考方式之一但“支持这个文件格式”和“每个网站都会高频率读取这个文件”是两码事。爬虫的调度策略、站点权重、抓取配额都会影响单站的访问次数。换句话说7 次这个数字只能说“OpenAI 爬虫在部分站点读取了 llms.txt”还不能说“OpenAI 爬虫不认 llms.txt”。那这组数据对普通开发者意味着什么它其实给我们划了三条线llms.txt 仍然是当前成本最低、门槛最低的“AI 可读站点说明”方案。单靠一个 llms.txt 文件不可能立刻改变爬虫的抓取频率。真正让内容被 AI 检索到的是内容质量、站点结构、外链和页面可读性的综合结果。这篇文章下面会分别展开llms.txt 是什么、怎么部署、爬虫到底怎么看待它、你该怎么调整预期。2. llms.txt 的核心概念与适用场景2.1 llms.txt 是什么llms.txt 不是官方标准而是一个社区提案。它的核心思想很朴素在网站的根目录放一个llms.txt文件内容用 Markdown 写成给 LLM 提供一个站点摘要和内容地图。最简单的 llms.txt 长这样# 某某技术博客 专注于 Java 后端、微服务架构和云原生实践的原创技术博客。 ## 推荐阅读 - [Spring Boot 3 实战手册](https://example.com/spring-boot-3-guide): 从零搭建生产级 Spring Boot 应用。 - [RAG 应用架构指南](https://example.com/rag-architecture): 深入讲解检索增强生成的核心流程。 - [MCP 协议入门](https://example.com/mcp-intro): 理解 Model Context Protocol 的设计思路。当 GPTBot 或 OAI-SearchBot 访问这个网站时它可以先抓取llms.txt在几毫秒内知道这个站点是什么、有哪些值得读的文章、每个链接大概讲什么。这比一次性抓取整个站点的所有页面高效得多。注意llms.txt 的目标不是替代 HTML 页面。它更像是一个“导读层”帮助 LLM 决定下一步访问哪些 URL。2.2 llms.txt 与 sitemap.xml、robots.txt 的分工很多开发者刚接触 llms.txt 时会把它和 robots.txt、sitemap.xml 搞混。它们服务的对象不同解决的是不同层面的问题。为了说明白我整理了一个对比表文件服务对象核心作用格式robots.txt所有网络爬虫声明抓取规则告诉爬虫哪些路径可以抓、哪些不能抓纯文本sitemap.xml搜索引擎爬虫列出站点 URL 列表帮助爬虫发现内容XMLllms.txtLLM 爬虫与 AI 应用用 Markdown 摘要和链接列表帮助 LLM 理解站点内容Markdown三者不是替代关系。robots.txt 管“能不能抓”sitemap.xml 管“抓哪些 URL”llms.txt 管“怎么理解这些 URL”。理想情况下一个对 AI 友好的网站应该同时配置这三个文件。2.3 llms.txt 适合哪些场景从实际落地场景看llms.txt 的价值集中在三个方向第一技术文档站和知识库。如果你的站点有大量结构化文档llms.txt 可以大幅降低 LLM 理解站点结构的时间。一个维护良好的 llms.txt 文件比让爬虫逐个页面分析要高效得多。第二内容型网站。博客、新闻站、产品官网都可以通过 llms.txt 把“最值得推荐的内容”排出来。这就相当于你在 AI 爬虫面前主动展示自己的重点内容而不是等它自己去猜。第三RAG 应用的数据源管理。做 RAG 应用时开发者经常为“哪些 URL 该进知识库”发愁。llms.txt 可以把网站的高质量入口集中列出来让抓取脚本少走弯路。但 llms.txt 并不适合所有网站。如果你的站点是纯交互式应用、需要登录才能访问的 SaaS 后台或者内容全部由用户动态生成llms.txt 能提供的帮助非常有限。2.4 一个容易被忽略的定位问题llms.txt 的真正价值不在于“被爬虫读到第几次”而在于它优化了内容进入 LLM 的路径。你可能意识不到没有 llms.txt 时LLM 爬虫拿到的是一个普通的 HTML 页面。它需要自己做正文提取、去噪、判断链接语义。这中间有大量信息损耗。有了 llms.txt这个过程变成读摘要、挑链接、精准访问而 llms.txt 恰恰把这整个过程压缩到了极致。但即便定位清晰llms.txt 仍然面对一个现实问题爬虫厂商的重视程度。这也是我们下面要讨论的重点。3. 实验数据解读7 次读取意味着什么3.1 实验背景的合理推断回到开头那组数据83 个网站部署了 llms.txt12 周内 OpenAI 爬虫只读取了 7 次。虽然我没有这次实验的完整方法论但根据标题给出的信息可以做出几个合理推测这 83 个网站应该不是 OpenAI 重点抓取的头部站点否则抓取频率不会这么低。12 周是一个完整的观察周期排除偶发因素。7 次读取意味着平均大约 10 个网站里只有 1 个网站在近三个月内被 OpenAI 爬虫读取过 llms.txt。这里有一个更关键的技术细节OpenAI 的爬虫里有多个 User-Agent。OAI-SearchBot 是给 ChatGPT 搜索功能用的GPTBot 是给模型训练数据采集用的。不同用途的爬虫对 llms.txt 的读取策略也可能不同。所以真正严谨的分析应该是区分 UA 来看访问次数而不是笼统地看“OpenAI 爬虫”。3.2 这个数据到底说明了什么我认为可以从三个层面解读从积极的角度看OpenAI 爬虫确实会读 llms.txt 文件。7 次不是 0 次。只要有一次成功读取就说明 llms.txt 的机制在 OpenAI 侧不是完全无效的。从冷静的角度看OpenAI 爬虫的读取频率很低。83 个站在 12 周内才被读 7 次说明 llms.txt 并没有成为 OpenAI 爬虫的高优先级任务。OpenAI 的爬虫调度仍然以传统的 sitemap 和 HTML 链接发现为主。从技术演进的角度看llms.txt 的生态还处于早期。任何协议从提出到被主流爬虫全量支持都需要时间。robots.txt 从提出到成为事实标准花了多少年llms.txt 从 2024 年中提出到现在还不到一年。3.3 缺少对照组是最大的遗憾作为一个技术分析文章我必须提醒你这个实验数据最有价值的地方恰恰不在于“7 次”这个绝对数字而在于没有展示对照组。如果这 83 个网站没有部署 llms.txt 时OpenAI 爬虫在同样的 12 周内对这些站点的总抓取次数是 3 次那么部署 llms.txt 之后变成 7 次说明 llms.txt 明显提高了 AI 爬虫的关注度。如果没有 llms.txt 时抓取次数是 50 次部署后变成 7 次那说明 llms.txt 反而降低了爬虫的抓取意愿。这两种情况背后的技术判断完全不同。所以在看到原始实验报告之前我们只能得出一个保守结论llms.txt 有被读取但读取次数不等于它无效也不等于它已经发挥作用。在缺少实验对照组和爬虫日志细节之前任何绝对化判断都不够专业。4. 为什么 OpenAI 爬虫读取 llms.txt 的次数不高这一节我们深入分析底层原因。OpenAI 爬虫没有高频读取 llms.txt不是因为它“坏”而是因为它有自己的技术优先级。4.1 爬虫的抓取策略决定一切大型爬虫的调度系统从来不是“每个网站平均抓取”而是有一套复杂的优先级算法综合考量站点质量、更新频率、内容热度、历史抓取效果等因素。OpenAI 的爬虫主要为了两个任务工作给 ChatGPT 搜索提供实时内容以及为模型训练收集高质量语料。这两个任务都不依赖 llms.txt 才能完成。GPTBot 可以通过传统的 HTML 抓取拿到原始文本OAI-SearchBot 可以通过搜索引擎索引逻辑找到最新内容。对 OpenAI 来说llms.txt 只是一个“锦上添花”的辅助信号而不是“非用不可”的入口。这就是 7 次读取背后的真实逻辑llms.txt 还没有成为 OpenAI 爬虫的核心发现机制。4.2 OpenAI 的关注重心在搜索结果质量另一个不容忽视的原因是OpenAI 作为商业公司其搜索爬虫OAI-SearchBot的第一优先级是让搜索结果准确、新鲜、覆盖面大。搜索引擎爬虫通常有一套自洽的网页发现体系从一个已经收录的优质页面出发沿着链接往外遍历。在这套体系里sitemap.xml 和页面内部的链接结构比 llms.txt 更重要。对 OAI-SearchBot 来说它首先要解决的是“我的搜索结果能不能覆盖用户的问题”而不是“我能不能理解每个站点的内容地图”。这并不意味着 llms.txt 没有价值而是说它在 OpenAI 的工程优先级里排得比较靠后。将来如果 ChatGPT 搜索的用户需求越来越强调“深度知识”和“特定领域内容”llms.txt 的优先级可能会提升。4.3 爬虫读取次数低不一定是坏事这里面有一个反直觉的点OpenAI 爬虫读取 llms.txt 的次数低反而可能是正常的。原因在于llms.txt 相当于一层“缓存导读”。如果爬虫第一次来读取了 llms.txt然后访问了其中的几个链接之后的一段时间内它可能不会再读 llms.txt。它不是不重视而是不需要。所以用 12 周内读取多少次来判断 llms.txt 的价值本质上是在用一个“过程指标”替代“效果指标”。真正的效果指标是你的网站内容最后有没有出现在 ChatGPT 的搜索结果里或者进入了 RAG 应用的回答引用来源。5. 完整示例为你的网站部署 llms.txt不管 OpenAI 爬虫读多少次对开发者来说部署 llms.txt 的成本几乎为零。你只需要创建一个文件放到网站根目录然后配置服务器让它能被正常访问。下面演示一个完整的部署过程。5.1 生成 llms.txt 文件以“一个 Java 技术博客”为例文件路径为/var/www/example.com/llms.txt# Java 实践笔记 分享 Java 后端开发、Spring Boot 实战、数据库优化与 AI 应用落地的原创技术博客。 更新频率每周 2 篇。 语言中文。 ## 核心栏目 - [Spring Boot 教程](https://example.com/spring-boot/): 从基础到进阶的 Spring Boot 实战文章。 - [数据库优化](https://example.com/database/): MySQL、PostgreSQL 索引与查询优化经验。 - [AI 应用开发](https://example.com/ai/): RAG、Agent、MCP 与 LLM 应用的工程实践。 ## 推荐阅读 - [Spring Boot 3 整合 MyBatis-Plus 完整教程](https://example.com/spring-boot/mybatis-plus-guide): 环境搭建、代码生成、分页插件、事务管理全覆盖。 - [RAG 应用中的召回率优化实践](https://example.com/ai/rag-recall-optimization): 从 Embedding 选择到重排序的完整调优记录。 - [MySQL 索引失效的 6 个常见场景](https://example.com/database/mysql-index-failure): 用 EXPLAIN 分析真实案例避开最坑的索引问题。 ## 其他 - [关于本站](https://example.com/about): 站点介绍与联系方式。这个文件的关键是简洁、结构化、有明确链接和一句话摘要。不要把它写成大而全的 sitemapllms.txt 的价值在“精选”而不在“全量”。5.2 配置 robots.txt 支持接下来在 robots.txt 中放行 llms.txt。文件路径/var/www/example.com/robots.txtUser-agent: * Allow: /llms.txt Allow: /spring-boot/ Allow: /database/ Allow: /ai/ User-agent: GPTBot Allow: / Disallow: /admin/ User-agent: OAI-SearchBot Allow: / Disallow: /admin/注意这里Allow: /llms.txt的意义在于显式声明“这个文件你们可以读”。虽然默认情况下爬虫通常也会读根目录的 llms.txt但显式声明可以避免某些严格的爬虫策略误伤。5.3 nginx 配置示例如果你使用 nginx确认静态文件路径配置正确即可。这里给一个最小配置片段server { listen 80; server_name example.com; root /var/www/example.com; location /llms.txt { default_type text/plain; add_header Cache-Control public, max-age3600; } location / { try_files $uri $uri/ 404; } }部署完成后用 curl 验证curl -I https://example.com/llms.txt预期返回HTTP/2 200 content-type: text/plain cache-control: public, max-age3600如果看到了 200 和正确的 content-type说明 llms.txt 已经可以从公网被访问了。5.4 用 Python 抓取并解析 llms.txt最后给你一个 Python 示例演示如何把 llms.txt 接入 RAG 应用的内容采集流程import requests from urllib.parse import urljoin import re # 获取 llms.txt resp requests.get(https://example.com/llms.txt, timeout10) resp.encoding utf-8 content resp.text # 解析 Markdown 链接 def extract_links(md_text, base_url): links [] # 匹配 [text](url) 形式 pattern r\[([^\]])\]\(([^)])\) for match in re.finditer(pattern, md_text): text, url match.group(1), match.group(2) if url.startswith(http): links.append((text, url)) else: links.append((text, urljoin(base_url, url))) return links links extract_links(content, https://example.com) for i, (text, url) in enumerate(links[:10], 1): print(f{i}. {text}: {url}) # 后续可以把这些 URL 加入 RAG 采集队列运行后你会看到类似输出1. Spring Boot 教程: https://example.com/spring-boot/ 2. 数据库优化: https://example.com/database/ 3. AI 应用开发: https://example.com/ai/ 4. Spring Boot 3 整合 MyBatis-Plus 完整教程: https://example.com/spring-boot/mybatis-plus-guide ...到这里llms.txt 的部署和基础消费已经跑通。你可以把这段代码嵌入自己的数据采集服务让网页内容更容易进入 RAG 知识库。6. 如何验证 llms.txt 是否被爬虫读取很多人部署完 llms.txt 后不知道怎么看效果。这里提供一个可执行的三步验证方案。6.1 查看访问日志如果你的网站通过 nginx 提供服务直接检查访问日志grep llms.txt /var/log/nginx/access.log | grep -E GPTBot|OAI-SearchBot | tail -20如果输出中包含 GPTBot 或 OAI-SearchBot 的 User-Agent说明 OpenAI 爬虫已经读取过你的 llms.txt。6.2 区分不同的 OpenAI 爬虫OpenAI 官方文档列出的爬虫 UA 有多个。你最好按 UA 分别统计grep llms.txt /var/log/nginx/access.log | awk {print $1, $12} | sort | uniq -c如果日志格式是常见组合格式第 12 个字段通常是 User-Agent。你也可以直接导出包含 GPTBot 和 OAI-SearchBot 的行单独统计。6.3 通过日志判断趋势识别是否读取只是第一步第二步是看趋势。建议用 Grafana 或简单的定时脚本按月统计 llms.txt 的访问次数。如果持续 3 个月为 0可以检查网站根目录是否正确部署了 llms.txt服务器是否返回了 200 OK会不会被 CDN 缓存了旧的 404 响应robots.txt 是否误杀了爬虫6.4 更实际的效果验证方式比起日志统计我更推荐直接用 ChatGPT 搜索测试效果。在 ChatGPT 的搜索框里输入“site:example.com 你的核心关键词”观察你的网站内容有没有出现在搜索结果中。如果出现了说明你的内容已经进入 OpenAI 的索引无论它有没有读取 llms.txt。这里是“技术正确”和“业务目标”的区别技术正确是让 llms.txt 被读取业务目标是让内容出现在 AI 搜索结果里。两者有相关性但并不是绝对的因果链条。7. 常见问题与排查思路我把实际使用 llms.txt 过程中的高频问题整理成了一张表方便你快速定位问题现象可能原因排查方式解决方案llms.txt 返回 404文件未放到根目录或文件名拼写错误curl -I 检查返回状态确认文件位于网站根目录文件名严格为 llms.txt爬虫从不读取 llms.txtrobots.txt 未放行或服务器返回异常状态码查看 nginx access.log检查 robots.txt显示 Allow /llms.txt清 CDN 缓存读取次数很低网站更新频率低、外链少、权重低对比同类站点抓取日志持续产出高质量内容优化站内链接结构llms.txt 中链接没有被访问链接摘要没有吸引力或链接本身不可访问逐一测试链接状态删除死链把最重要的内容放在前面CDN 缓存了旧版 llms.txtCDN 缓存时间过长检查 CDN 缓存策略设置较短 max-age或手动刷新缓存内容更新后 llms.txt 未更新发布流程未联动更新 llms.txt检查 CI/CD 流程将 llms.txt 生成加入自动发布流水线这里要单独强调一个问题llms.txt 并不是部署之后就可以不管的文件。它相当于你网站的“AI 首页”需要跟随内容更新而更新。如果站点每周发布 5 篇文章但 llms.txt 三个月不更新那爬虫读到的信息就是过期的反而降低内容发现效率。8. 最佳实践与工程建议最后这部分我基于前面的分析和常见实践给出几条可落地的工程建议。8.1 llms.txt 内容更新自动化不要手动维护 llms.txt除非你的网站只有 10 个页面。更推荐的做法是在 CI/CD 流程中加入一个生成任务。例如发布文章时自动更新 llms.txt 的“推荐阅读”区保证新的优质内容及时出现在 AI 导览中。一个简单的做法内容发布流水线中跑一个脚本从 CMS 的 API 拉取最新文章列表按固定格式生成 llms.txt然后覆盖部署到服务器。这样 llms.txt 永远反映站点的最新内容结构。8.2 注意内容增量策略llms.txt 的链接不要无限制增加。如果一个文件里堆了几千个链接它就和 sitemap.xml 没有区别了LLM 反而难以从中筛出重点。建议精选 10 到 30 个最重要的入口。把“所有内容”交给 sitemap.xml把“重点内容”留给 llms.txt。8.3 配合其他 AI 友好措施如果你真的希望内容被 AI 搜索引擎和 RAG 应用调用llms.txt 只是其中一环。更重要的是页面 HTML 中必须有干净的标题、描述和正文区域。避免大量使用 JavaScript 动态渲染核心内容。保持稳定的 URL 结构和站内链接。提供清晰的文章更新时间。这些因素叠加在一起才能提高 AI 爬虫对你网站的“好感度”。8.4 安全边界与权限控制部署 llms.txt 时不要泄露敏感信息。llms.txt 是公网可读的文件不能把未发布的文章、内部文档链接、带鉴权参数的 URL 放进去。如果你的站点分公开区和登录区llms.txt 只能列公开区内容。用权限控制保护的那些内容如果被放进 llms.txt等于主动告诉所有爬虫“这里还有这些链接”后果可能很严重。8.5 不要迷信单个指标回到开头的 7 次读取。很多团队容易陷入一个误区看到爬虫读取次数低就认为 llms.txt 没有用看到读取次数高就认为网站已经“AI 友好”。这两种判断都不够严谨。llms.txt 被读取只代表爬虫注意到了这个文件。真正应该关注的是你的内容有没有进入 LLM 的回答引用列表有没有为用户提供实际帮助。这个层面单纯靠服务器日志是看不出来的需要你在 AI 搜索产品里人工验证。9. 总结与后续学习方向llms.txt 是当前 web 与 LLM 之间最有想象空间的轻量级桥梁之一。它的设计足够简洁任何一个会写 Markdown 的开发者都能在 10 分钟内部署完成。但从生态成熟度来看它还处在早期阶段。OpenAI 爬虫在 83 个网站中 12 周只读取 7 次的数据提醒我们协议被提出不等于协议被采用协议被采用不等于它能立刻改变爬虫行为。对普通开发者我的建议很明确如果你有内容型网站或技术文档站现在就可以部署 llms.txt。成本低收益不确定但不部署一定不会被 AI 爬虫优先理解。部署之后把日志记录下来持续观察一个季度再判断它对你的站点有没有实际作用。不要把 llms.txt 当成技术债务而要把它纳入内容运营体系跟着内容一起维护。后续可以继续关注 llms.txt 的标准演进、主流 LLM 爬虫对它的策略变化以及围绕 llms.txt 的工具链发展。技术标准的胜负从来不取决于它发布时有多惊艳而取决于它在真实世界的采用曲线。llms.txt 的曲线才刚画到开头。你现在了解它、部署它、跟踪它等曲线陡峭起来的时候你已经在场了。