1. 当AI搜索对你的网站视而不见时问题出在哪你可能已经注意到了这个现象辛辛苦苦写的技术博客、产品文档、教程文章在传统搜索引擎里排名还行但一到AI搜索场景——比如各类AI助手的联网检索、智能问答的引用来源——你的网站就像不存在一样。AI给出的回答里引用了别人的内容甚至引用了比你晚发布、质量还不如你的页面唯独跳过了你。这不是玄学也不是AI“看你不顺眼”。GEOGenerative Engine Optimization生成式引擎优化要解决的问题就是让AI搜索愿意引用你的网站内容。而绝大多数站点被忽略的原因归结起来就三类AI爬虫根本进不来、进来了但读不懂、读懂了但不敢引用。这三个问题每一个都可以用代码和配置文件改掉不需要你去猜AI的脾气。这篇内容适合几类人看自己搭过站、能改服务器配置的独立开发者负责公司官网或技术文档站、想搞清楚AI搜索收录逻辑的运营同学以及单纯好奇“AI到底怎么决定引用谁”的技术爱好者。我会从爬虫准入、内容结构化、引用可信度三个层面把每个环节的代码改法和背后的判断逻辑讲清楚。你不需要是SEO专家但需要能动手改文件、看得懂基本的HTTP响应和文本格式。先说一个反直觉的结论你网站被AI忽略大概率不是内容质量问题而是准入和格式问题。我见过太多内容扎实的站点因为robots.txt里一行无意的规则或者页面全是客户端渲染的空壳直接被AI爬虫判了“死刑”。下面逐层拆。2. 先搞清楚AI爬虫到底能不能进你的站2.1 robots.txt里那些“误伤”AI爬虫的写法robots.txt是爬虫进入网站的第一道门。传统搜索引擎爬虫如各类通用检索爬虫和AI搜索爬虫在行为上有区别但很多站点在配置robots.txt时用的是几年前的老模板结果把AI爬虫一并挡在了门外。最常见的误伤写法有这么几种。第一种是粗暴地封禁所有非主流爬虫User-agent: * Disallow: /这行配置的意思是“所有爬虫都不许抓”但很多站长本意只是想挡掉某些采集器结果连AI搜索的检索爬虫也一起挡了。正确做法是只针对明确的恶意爬虫做限制对通用爬虫保持开放或者至少给主流AI爬虫单独放行。第二种是路径级误伤。比如你为了不让搜索引擎收录后台管理页写了User-agent: * Disallow: /admin/ Disallow: /api/ Disallow: /search/问题在于很多AI搜索在抓取内容时会通过站内搜索接口或API来发现内容。你把/search/和/api/全封了AI爬虫就没法通过站内检索发现你的深层页面。我的建议是/admin/该封就封但/search/和/api/要分情况——如果这些路径返回的是公开内容就不要封如果返回的是用户隐私数据那必须封但要在别处提供内容发现入口比如sitemap。第三种是Crawl-delay设置过大。有些站长为了减轻服务器压力写了Crawl-delay: 10甚至更高。传统爬虫可能遵守这个约定但AI搜索的抓取频率和策略不同过大的延迟会让它在有限的时间窗口内抓不完你的页面导致大量内容根本没被索引。提示改robots.txt之前先用各类爬虫模拟工具或直接看服务器访问日志确认哪些爬虫实际来过、被拦在了哪里。不要凭感觉改。2.2 用访问日志反查AI爬虫的真实行为光看robots.txt是纸上谈兵真正有用的是服务器访问日志。你需要知道AI爬虫有没有来、来了抓了什么、返回了什么状态码。以Nginx为例访问日志通常在/var/log/nginx/access.log。你可以用一条命令筛出可疑的AI爬虫访问grep -iE bot|spider|crawler|gpt|claude|perplexity|bing|google /var/log/nginx/access.log | awk {print $1, $12, $7} | sort | uniq -c | sort -rn | head -50这条命令会统计出哪些User-Agent访问最多、请求了哪些路径、返回了什么状态码。重点看两类情况一是大量403或404说明爬虫来了但被拒绝或找不到内容二是200但路径集中在首页说明爬虫进不来深层页面。我自己的站点曾经出现过一个问题AI爬虫频繁访问/sitemap.xml但返回的是404。原因是sitemap文件放在了子目录里而robots.txt里声明的路径不对。修正之后AI爬虫的抓取深度明显增加。这种问题不看日志根本发现不了。2.3 服务端渲染与客户端渲染AI爬虫看到的是空壳还是内容这是最容易被忽略、也最致命的一环。如果你的网站是纯客户端渲染比如用某些前端框架做的SPAAI爬虫拿到的HTML里可能只有一个div idapp/div和一堆JS引用真正的文字内容要等JS执行完才出现。而很多AI爬虫为了效率和成本不执行JS或者只执行有限度的JS。结果就是你的页面在浏览器里看起来内容丰富在AI爬虫眼里却是一片空白。它自然不会引用一个“空页面”。判断方法很简单用curl直接抓你的页面看返回的HTML里有没有正文文字。curl -s https://你的域名/某篇文章 | grep -o 文章里的某个关键词 | head如果什么都没输出说明正文不在初始HTML里AI爬虫大概率看不到。解决办法有两个方向一是做服务端渲染SSR或静态生成SSG让正文直接出现在HTML里二是做预渲染对爬虫返回预渲染后的HTML。前者更彻底后者改动小但维护成本高。我个人的选择是内容型站点一律上SSG或SSR不要赌AI爬虫会执行JS。这个判断基于一个简单逻辑——AI搜索要处理海量页面执行JS的成本太高能省则省。你把内容直接放在HTML里就是在降低它的获取成本它自然更愿意来。3. llms.txt给AI搜索看的“内容说明书”3.1 llms.txt到底是什么和robots.txt什么关系llms.txt是近几年随着AI搜索兴起而出现的一个约定文件放在网站根目录下作用类似于给AI爬虫看的“内容导航和说明”。robots.txt管的是“能不能抓”llms.txt管的是“抓什么、怎么理解”。它的基本结构是Markdown格式通常包含站点简介、核心内容链接、以及每个链接的简短说明。一个最简版本长这样# 我的技术博客 一个专注于后端开发和系统设计的个人博客每周更新两篇深度文章。 ## 核心内容 - [分布式事务实战](https://example.com/distributed-transaction)从两阶段提交到Saga模式的完整对比 - [数据库索引原理](https://example.com/db-index)B树、哈希索引和覆盖索引的适用场景 - [缓存穿透与雪崩](https://example.com/cache)Redis缓存的常见问题和解决方案 ## 可选 - [关于我](https://example.com/about)作者背景和联系方式注意几个细节。第一行是站点名称用一级标题。第二段是站点简介用引用块一句话说清楚你是做什么的。然后是核心内容列表每个链接后面跟一个简短说明帮助AI理解这个页面讲什么。最后可以有“可选”部分放一些非核心但有用的页面。3.2 llms.txt的完整写法与字段含义上面是最简版本实际使用中还可以更完整。一个信息量更足的llms.txt会包含这些部分# 站点名称 一句话简介说明站点定位和内容方向。 补充说明段落可以写更新频率、内容特色、目标读者等。 ## 文档 - [快速开始](https://example.com/start)5分钟跑通第一个示例 - [API参考](https://example.com/api)所有接口的参数和返回值说明 - [常见问题](https://example.com/faq)高频问题的排查步骤 ## 教程 - [入门教程](https://example.com/tutorial-1)从零搭建开发环境 - [进阶教程](https://example.com/tutorial-2)性能优化和部署实践 ## 可选 - [更新日志](https://example.com/changelog)版本变更记录 - [联系方式](https://example.com/contact)反馈渠道字段含义上#后面是站点名引用块是简介##分节是内容分类列表项是“链接说明”的组合。说明文字要短控制在20字以内让AI快速判断页面主题。链接必须是绝对URL不要用相对路径。注意llms.txt目前还不是所有AI搜索都强制读取的标准但它是低成本、高潜在收益的配置。花十分钟写好可能带来持续的引用流量。3.3 把llms.txt和sitemap配合使用的实操llms.txt和sitemap.xml不是二选一而是配合使用。sitemap告诉爬虫“我有哪些页面”llms.txt告诉AI“哪些页面最重要、分别讲什么”。两者结合AI爬虫的抓取效率和理解准确度都会提升。实操上我建议这样组织sitemap.xml保持完整列出所有可公开访问的页面llms.txt只列核心内容控制在20到50个链接以内每个链接配说明。不要把几百个页面全塞进llms.txt那样反而稀释了重点。生成llms.txt可以用脚本自动化。比如用Python从sitemap或数据库里读取文章列表生成对应的Markdown文件import xml.etree.ElementTree as ET def generate_llms_txt(sitemap_path, output_path): tree ET.parse(sitemap_path) root tree.getroot() ns {sm: http://www.sitemaps.org/schemas/sitemap/0.9} lines [# 我的站点, , 站点简介写在这里。, , ## 内容, ] for url in root.findall(sm:url, ns): loc url.find(sm:loc, ns).text # 这里可以根据URL规则生成说明或从数据库读取标题 lines.append(f- [{loc}]({loc})页面说明) with open(output_path, w, encodingutf-8) as f: f.write(\n.join(lines)) generate_llms_txt(sitemap.xml, llms.txt)这个脚本是骨架实际使用时说明文字要从文章标题或摘要里取不要偷懒全写一样的内容。AI对重复的说明文字不敏感等于白写。4. 让内容“可被引用”的结构化改造4.1 为什么AI更愿意引用结构化清晰的内容AI搜索在生成回答时需要从多个来源里抽取信息、拼接成连贯的答案。如果你的内容结构混乱、段落冗长、关键信息埋在废话里AI抽取的成本就高它自然倾向于选择那些“一眼就能找到答案”的页面。结构化清晰体现在几个层面标题层级明确、段落短小、关键结论前置、有列表和表格辅助。这不是为了讨好AI而是因为AI的抽取逻辑和人类快速阅读的逻辑高度一致——都是先扫标题、再找关键句、最后看细节。我做过一个对比测试同一篇内容一个版本是连续大段文字另一个版本拆成小标题加短段落加要点列表。在AI搜索的引用表现上结构化版本的被引用率明显更高。这个结论不意外但很多人写内容时还是习惯性写成大段。4.2 用语义化HTML给AI划重点除了内容本身的组织HTML标签的使用也影响AI的理解。语义化标签能让AI快速识别“这是标题”“这是正文”“这是补充说明”“这是代码示例”。具体来说这些标签要正确使用h1到h6标题层级不要跳级不要用div模拟标题p正文段落不要用br堆砌换行ul/ol列表步骤用有序列表要点用无序列表table对比数据、参数说明用表格比用文字描述更清晰code/pre代码块标注语言类型blockquote重要提示和引用反面例子是用一堆div加CSS类名来模拟标题和段落。视觉上看起来一样但AI解析时拿不到语义信息等于把内容结构藏起来了。!-- 不推荐语义丢失 -- div classtitle安装步骤/div div classtext第一步下载安装包。/div div classtext第二步解压到指定目录。/div !-- 推荐语义清晰 -- h2安装步骤/h2 p第一步下载安装包。/p p第二步解压到指定目录。/p这个改动不需要动设计只需要把标签换对。成本极低收益明确。4.3 关键信息前置AI的“前三段定律”AI在判断一个页面是否值得引用时会重点看页面的开头部分。如果前三段里没有出现核心关键词和明确结论它可能直接跳过。这不是猜测而是基于AI处理长文本时的注意力分配逻辑——开头部分的权重天然更高。所以写内容时把最重要的结论放在最前面。不要学传统论文那样“先背景后结论”AI搜索场景下要反过来先给答案再解释为什么。比如你要写“如何配置robots.txt允许AI爬虫”开头就直接写在robots.txt里确保没有Disallow: /这样的全站封禁规则并给主流AI爬虫单独放行。具体配置如下……然后再展开讲原理和注意事项。这样AI在扫描开头时就能抓到核心信息引用概率大幅提升。5. 引用可信度AI凭什么选你不选别人5.1 作者信息与站点权威性的代码级呈现AI搜索在决定引用哪个来源时会评估内容的可信度。可信度的一部分来自内容质量另一部分来自“你是谁”的信号。这些信号可以通过代码和结构化数据来强化。最直接的是作者信息。在页面里用结构化数据标注作者script typeapplication/ldjson { context: https://schema.org, type: Article, author: { type: Person, name: 作者姓名, url: https://example.com/about, jobTitle: 职位或身份 }, publisher: { type: Organization, name: 站点名称 }, datePublished: 2025-01-01, dateModified: 2025-01-02 } /script这段JSON-LD告诉AI这篇文章有明确的作者、有发布和修改日期、有归属的站点。相比匿名内容AI更倾向于引用有明确来源的信息。站点层面about页面要写清楚你是谁、做什么的、为什么这个领域你有发言权。这不是自夸而是给AI提供判断依据。一个连“关于”页面都没有的站点AI很难评估其可信度。5.2 更新日期、引用来源与事实核查痕迹AI对“过时内容”很敏感。如果你的页面没有更新日期或者日期显示是几年前AI可能认为内容已失效转而引用更新的来源。确保每个内容页面都有明确的发布时间和最后更新日期并且用结构化数据标注。如果内容有实质性更新修改日期要同步更新不要只改不改日期。另一个信号是引用来源。在内容里引用权威来源、给出数据出处、标注参考链接这些行为会让AI认为你的内容是经过核查的。反过来通篇没有出处、数据来源不明的页面可信度评分会低。提示引用来源时链接要指向原始出处不要指向二手转载。AI会追踪链接的可信度。5.3 避免这些让AI“拉黑”你的内容特征有几类内容特征会让AI主动降低引用意愿甚至完全跳过第一类是关键词堆砌。为了优化而反复重复同一个词读起来不自然。AI的语义理解能力足以识别这种操作结果适得其反。第二类是内容空洞。标题很吸引人点进去全是废话没有实质信息。AI抽取不到有用内容自然不会引用。第三类是过度营销。通篇都是“我们的产品最好”“行业领先”没有客观信息。AI搜索倾向于引用中立、信息密度高的内容。第四类是隐藏内容。用CSS把文字藏起来、用白色文字写在白色背景上这类操作一旦被识别站点可信度直接归零。第五类是频繁改标题不改内容。每次改标题都当成新内容发布试图骗取抓取频率。AI会识别URL和内容的对应关系这种行为会被判定为低质量。6. 从日志到引用一套可复现的GEO排查流程6.1 第一步确认AI爬虫是否来访排查从日志开始。用前面提到的命令筛出AI爬虫的访问记录重点看三个指标访问频率、抓取路径分布、返回状态码。如果完全没有AI爬虫的访问记录说明问题出在更前面——可能是robots.txt封禁、服务器防火墙拦截、或者DNS层面有问题。这时候要检查服务器防火墙规则、CDN配置、以及是否有WAF在拦截。如果有访问但状态码大量是403或404说明爬虫来了但被拒绝或找不到内容。403通常是权限或防火墙问题404是路径或sitemap问题。如果访问正常但集中在少数页面说明内容发现机制有问题。检查sitemap是否完整、内链是否通畅、llms.txt是否配置。6.2 第二步验证页面在无JS环境下的可读性用curl或浏览器的“禁用JavaScript”模式访问你的页面看正文是否可见。如果不可见就是渲染方式的问题需要改SSR/SSG或做预渲染。这一步的验证要覆盖不同类型的页面首页、文章页、列表页、标签页。有些站点首页做了SSR但文章页没有导致深层内容全部不可见。6.3 第三步检查结构化数据与llms.txt用结构化数据校验工具检查JSON-LD是否有语法错误。常见问题包括引号不匹配、字段名拼写错误、日期格式不对。这些错误会导致结构化数据被忽略。llms.txt的检查相对简单确认文件可访问、格式是Markdown、链接是绝对URL、说明文字不重复。可以用curl直接抓取确认curl -s https://你的域名/llms.txt | head -306.4 第四步观察引用变化并迭代改完之后不会立刻见效。AI搜索的索引更新有周期通常需要几天到几周。观察方法是在AI搜索里搜你的核心关键词看引用来源里是否出现了你的站点。如果没有回到第一步重新排查。如果有但引用的是旧页面检查新页面是否被正确发现和索引。这是一个持续迭代的过程不是一次配置就一劳永逸。我自己的站点从“完全不被引用”到“稳定出现在引用来源里”前后花了大约三周中间改了四轮。第一轮改robots.txt第二轮上SSR第三轮加llms.txt和结构化数据第四轮优化内容结构。每一轮都能看到日志里的抓取行为变化这个反馈循环很重要。7. 几个我踩过的坑和对应的解法第一个坑是robots.txt的Disallow顺序问题。robots.txt的规则是“最长匹配优先”但很多人以为是“先匹配优先”。如果你写了User-agent: * Disallow: /private/ Allow: /private/public/实际生效的是Allow因为/private/public/比/private/更长。这个机制如果不清楚很容易写出意料之外的规则。解法是用robots.txt测试工具验证每条规则的实际效果不要凭直觉。第二个坑是sitemap里的URL和实际URL不一致。比如sitemap里写的是https://example.com/page但实际访问会301跳转到https://www.example.com/page。这种不一致会让爬虫困惑降低抓取效率。解法是统一URL规范sitemap里只放最终URL不要放会跳转的URL。第三个坑是llms.txt写了但没被读取。原因是文件放在了子目录而不是根目录或者返回的Content-Type不对。llms.txt必须在根目录且返回text/plain或text/markdown。用curl -I检查响应头curl -I https://你的域名/llms.txt确认状态码是200Content-Type正确。第四个坑是结构化数据里的日期格式。JSON-LD的日期要用ISO 8601格式比如2025-01-01或2025-01-01T00:00:0008:00。写成2025/01/01或Jan 1, 2025会导致解析失败。这个细节很小但影响很大。第五个坑是内容更新后忘记改日期。AI对内容新鲜度敏感如果你的页面内容更新了但日期没变AI可能认为内容陈旧。解法是把日期更新纳入内容发布流程改内容必改日期。8. 关于GEO这件事我自己的几点体会GEO和传统SEO最大的区别在于SEO是和人博弈GEO是和AI的抽取逻辑博弈。人的注意力有限所以SEO讲究关键词密度、外链数量AI的注意力是算法分配的所以GEO讲究结构清晰、信息密度、来源可信。这意味着很多SEO时代的技巧在GEO场景下失效甚至有害。比如关键词堆砌对人可能还有点用对AI就是减分项。比如外链建设AI更看重内容本身的质量和结构而不是有多少网站链接到你。我自己的做法是把GEO当成“写给人看但让AI也能轻松读懂”的优化。核心还是内容质量代码和配置只是降低AI获取和理解内容的门槛。门槛降低了好内容自然会被引用。最后分享一个实用习惯每次发布新内容后用curl抓一遍页面确认正文在HTML里、结构化数据没报错、llms.txt和sitemap已更新。这个检查花不了五分钟但能避免大部分“内容很好但AI看不到”的问题。