前面两篇我对刚上线的网站做了基础排查。网站是聆机智能制造业AI工具箱地址https://ai.linkede.cn第一轮检查确认百度蜘蛛能够正常访问首页服务器返回HTTP 200原始 HTML 中也能直接读取网站名称、8D报告、SOP和设备点检表等正文内容。随后我又检查了https://ai.linkede.cn/robots.txt https://ai.linkede.cn/sitemap.xml两个地址最初都返回404因此在 Next.js 项目中补充了对应配置。完成网站内部的基础配置后接下来要解决的是网站虽然可以被抓取但百度还不知道这个子域名属于谁也没有收到主动提交的公开页面。这篇继续记录如何在百度搜索资源平台添加子域名、完成站点验证、进行抓取诊断并提交公开链接。一、提交之前先做一次生产环境检查不要刚写完robots.ts和sitemap.ts就马上进入百度后台提交。本地代码存在不代表生产环境已经生效。先执行curl -I https://ai.linkede.cn/首页最终应返回HTTP/1.1 200 OK检查robots.txtcurl -i https://ai.linkede.cn/robots.txt检查sitemap.xmlcurl -i https://ai.linkede.cn/sitemap.xml至少要确认首页返回 200 robots.txt 返回 200 sitemap.xml 返回 200同时还要查看实际正文避免 Next.js 或 Nginx 将不存在的地址错误回退到首页。curl -s https://ai.linkede.cn/robots.txt正常应看到类似内容User-Agent: * Allow: / Sitemap: https://ai.linkede.cn/sitemap.xml再检查网站地图curl -s https://ai.linkede.cn/sitemap.xml | head -n 30正常应看到?xml version1.0 encodingUTF-8? urlset xmlnshttp://www.sitemaps.org/schemas/sitemap/0.9如果仍然返回404或者正文是网站首页HTML应先继续修复暂时不要进入百度平台提交。二、在百度搜索资源平台添加子域名登录百度搜索资源平台后如果还没实名认证需要先实名认证。这里不赘述。进入站点管理添加https://ai.linkede.cn这里需要注意ai.linkede.cn虽然属于linkede.cn但它有自己独立的网站内容和部署服务建议将它作为单独站点添加和验证。协议选择正式生产环境使用的https不要因为网站同时支持HTTP访问就把下面两个地址分别当成两个站点http://ai.linkede.cn https://ai.linkede.cn正式网站应统一跳转到HTTPS版本提交时也使用最终地址。根据你的站点选择站点属性三、选择站点验证方式添加站点后需要证明自己拥有该网站的管理权限。常见做法包括文件验证HTML标签验证根据平台当前页面提供的其他验证方式。对于 Next.js 项目我更倾向于使用文件验证。原因很简单验证文件和robots.txt一样都可以通过public目录直接发布不需要改首页代码。四、使用文件验证百度会提供一个验证文件名称类似baidu_verify_xxxxxxxxxx.html实际文件名和内容以平台提供的为准。为了脱敏本文不展示真实文件名和验证码。1. 下载验证文件从百度搜索资源平台下载验证文件。不要修改文件名称文件扩展名文件内容文件编码。2. 放入 Next.js 的 public 目录项目结构通常类似public/ ├── baidu_verify_xxxxxxxxxx.html ├── favicon.ico └── 其他公开静态文件如果项目使用src/app验证文件仍然放在项目根目录的public/而不是src/app/3. 重新构建和部署按照项目原有部署方式重新发布。例如npm run build具体部署命令以项目实际环境为准。4. 检查生产环境部署后执行curl -i https://ai.linkede.cn/baidu_verify_xxxxxxxxxx.html正常应返回HTTP/1.1 200 OK并且正文与百度提供的验证文件内容一致。如果返回404说明文件没有进入生产环境。如果返回200但正文是首页HTML说明路由回退接管了请求验证文件并未真正生效。5. 回到平台点击验证确认验证文件能够公开访问后再回到百度搜索资源平台点击“完成验证”或相应按钮。五、验证文件不要立即删除验证完成后不建议马上删除文件。百度后续可能会重新确认站点所有权。如果验证文件被删除可能影响站点的验证状态。六、先使用 Robots 工具检查抓取规则站点验证完成后进入百度搜索资源平台的 Robots 工具。检查当前百度读取到的robots.txt是否与生产环境一致。百度官方说明Robots工具可以用于查看、校验和更新站点的robots.txt并检查哪些页面允许或禁止百度蜘蛛抓取。当前网站的公开规则保持简单User-Agent: * Allow: / Sitemap: https://ai.linkede.cn/sitemap.xml检查时重点确认没有出现Disallow: /Sitemap地址正确百度读取到的是最新内容返回的不是404返回的不是首页HTML。七、使用抓取诊断查看百度蜘蛛真正看到的内容下一步进入数据统计 → 抓取诊断平台菜单名称可能随版本调整以实际后台显示为准。先提交首页https://ai.linkede.cn/也可以再选择一个公开内容页进行检查例如https://ai.linkede.cn/examples不要使用登录后页面用户个人页面内部管理页面带用户数据的地址不希望公开的接口或业务路径。百度的抓取诊断工具可以从百度蜘蛛的视角查看页面内容。官方说明中提到每个站点每周有一定诊断次数当前页面说明为每周70次并展示百度蜘蛛可见内容的前200KB。八、抓取诊断重点看什么抓取完成后不要只看“抓取成功”四个字。至少检查以下内容。1. HTTP状态码应当返回200如果返回403说明百度蜘蛛可能被安全策略拦截。如果返回404说明提交的页面地址不存在或者路由配置有问题。如果返回5xx则需要检查Next.js服务、Nginx反向代理和服务器稳定性。2. 页面标题抓取内容中应能看到聆机智能制造业AI工具箱 - 8D报告、SOP、点检表在线生成3. 页面正文应能够读取聆机智能制造业AI工具箱 8D报告 SOP 设备点检表 生产日报4. 是否抓到了错误页面需要确认百度蜘蛛看到的不是登录页面安全验证页面系统错误页空白页面“请启用JavaScript”页面只有div#__next的空HTML。5. 是否出现禁止收录设置检查抓取内容中是否存在noindex如果公开首页出现noindex应先修复不要继续重复提交。九、向百度提交公开链接确认抓取诊断正常后进入资源提交 → 普通收录百度目前的普通收录工具用于主动向百度提交链接可以缩短百度蜘蛛发现网址的时间但不能保证提交后一定收录。第一批不要提交太多页面先提交已经确认公开并正常返回200的地址。例如https://ai.linkede.cn/ https://ai.linkede.cn/examples https://ai.linkede.cn/pricing实际提交时应以当前 Sitemap 中的公开URL为准。十、Sitemap怎么提交如果当前百度搜索资源平台账号和站点后台提供Sitemap提交入口可以提交https://ai.linkede.cn/sitemap.xml百度将Sitemap定义为网站页面列表用于向蜘蛛提供站点中可供抓取的页面。不同账号或平台页面显示的提交方式可能有所不同。如果后台暂时没有显示Sitemap入口可以先使用普通收录的手动提交方式将第一批公开页面逐条提交。百度官方资料中列出的普通收录方式包括手动提交、API提交及Sitemap等方式但实际可用入口以当前站点后台为准。十一、提交完成后不要反复提交同一个首页很多新站长看到网站还没收录会每天重复提交首页。这种做法意义不大。提交后更值得观察的是百度蜘蛛是否访问网站抓取状态是否正常Sitemap中的页面是否都返回200网站是否有公开正文是否有外部页面链接到新站百度索引量是否开始变化。普通收录只负责帮助百度更快发现链接并不保证最终收录。十二、在服务器日志中检查百度蜘蛛提交后可以在服务器上查看是否出现百度蜘蛛访问记录。示例命令grep -i Baiduspider /var/log/nginx/access.log | tail -n 50具体日志位置以实际服务器配置为准公开文章中不需要展示真实服务器目录结构以外的更多部署信息。正常情况下可能看到类似记录Baiduspider GET / HTTP/1.1 200 Baiduspider GET /robots.txt HTTP/1.1 200 Baiduspider GET /sitemap.xml HTTP/1.1 200重点关注最后的状态码。如果出现403说明蜘蛛被拒绝。如果出现404说明请求地址不存在。如果持续出现5xx说明服务器或应用稳定性存在问题。十三、提交后怎么判断有没有开始收录可以定期在百度搜索site:ai.linkede.cn也可以搜索完整品牌词聆机智能制造业AI工具箱不过site:查询结果只能作为外部观察方式平台中的索引量、抓取诊断和抓取异常数据更适合用来判断网站是否进入百度的处理流程。刚提交后不要马上得出“没有效果”的结论。网站需要经历发现链接 → 蜘蛛抓取 → 页面分析 → 建立索引 → 搜索结果展现链接被抓取也不代表一定会进入最终搜索结果。总结完成网站内部的title、robots.txt和sitemap.xml配置后下一步就是让百度正式认识这个子域名。这次操作的核心步骤是将https://ai.linkede.cn添加到百度搜索资源平台通过验证文件确认站点归属使用Robots工具检查抓取规则使用抓取诊断确认百度蜘蛛能够读取首页通过普通收录提交公开链接在平台提供入口时提交Sitemap通过服务器日志和索引量继续观察结果。需要特别注意提交链接只能帮助百度更快发现页面不能保证页面一定被收录。网站最终能否进入搜索结果还取决于页面是否稳定、内容是否公开、正文是否有实际价值以及站点是否持续提供可被搜索的内容。下一篇准备继续记录百度之外360搜索和搜狗搜索是否还需要单独提交以及同一份Sitemap能不能直接复用。
前面两篇我对刚上线的网站做了基础排查。网站是聆机智能制造业AI工具箱地址https://ai.linkede.cn第一轮检查确认百度蜘蛛能够正常访问首页服务器返回HTTP 200原始 HTML 中也能直接读取网站名称、8D报告、SOP和设备点检表等正文内容。随后我又检查了https://ai.linkede.cn/robots.txt https://ai.linkede.cn/sitemap.xml两个地址最初都返回404因此在 Next.js 项目中补充了对应配置。完成网站内部的基础配置后接下来要解决的是网站虽然可以被抓取但百度还不知道这个子域名属于谁也没有收到主动提交的公开页面。这篇继续记录如何在百度搜索资源平台添加子域名、完成站点验证、进行抓取诊断并提交公开链接。一、提交之前先做一次生产环境检查不要刚写完robots.ts和sitemap.ts就马上进入百度后台提交。本地代码存在不代表生产环境已经生效。先执行curl -I https://ai.linkede.cn/首页最终应返回HTTP/1.1 200 OK检查robots.txtcurl -i https://ai.linkede.cn/robots.txt检查sitemap.xmlcurl -i https://ai.linkede.cn/sitemap.xml至少要确认首页返回 200 robots.txt 返回 200 sitemap.xml 返回 200同时还要查看实际正文避免 Next.js 或 Nginx 将不存在的地址错误回退到首页。curl -s https://ai.linkede.cn/robots.txt正常应看到类似内容User-Agent: * Allow: / Sitemap: https://ai.linkede.cn/sitemap.xml再检查网站地图curl -s https://ai.linkede.cn/sitemap.xml | head -n 30正常应看到?xml version1.0 encodingUTF-8? urlset xmlnshttp://www.sitemaps.org/schemas/sitemap/0.9如果仍然返回404或者正文是网站首页HTML应先继续修复暂时不要进入百度平台提交。二、在百度搜索资源平台添加子域名登录百度搜索资源平台后如果还没实名认证需要先实名认证。这里不赘述。进入站点管理添加https://ai.linkede.cn这里需要注意ai.linkede.cn虽然属于linkede.cn但它有自己独立的网站内容和部署服务建议将它作为单独站点添加和验证。协议选择正式生产环境使用的https不要因为网站同时支持HTTP访问就把下面两个地址分别当成两个站点http://ai.linkede.cn https://ai.linkede.cn正式网站应统一跳转到HTTPS版本提交时也使用最终地址。根据你的站点选择站点属性三、选择站点验证方式添加站点后需要证明自己拥有该网站的管理权限。常见做法包括文件验证HTML标签验证根据平台当前页面提供的其他验证方式。对于 Next.js 项目我更倾向于使用文件验证。原因很简单验证文件和robots.txt一样都可以通过public目录直接发布不需要改首页代码。四、使用文件验证百度会提供一个验证文件名称类似baidu_verify_xxxxxxxxxx.html实际文件名和内容以平台提供的为准。为了脱敏本文不展示真实文件名和验证码。1. 下载验证文件从百度搜索资源平台下载验证文件。不要修改文件名称文件扩展名文件内容文件编码。2. 放入 Next.js 的 public 目录项目结构通常类似public/ ├── baidu_verify_xxxxxxxxxx.html ├── favicon.ico └── 其他公开静态文件如果项目使用src/app验证文件仍然放在项目根目录的public/而不是src/app/3. 重新构建和部署按照项目原有部署方式重新发布。例如npm run build具体部署命令以项目实际环境为准。4. 检查生产环境部署后执行curl -i https://ai.linkede.cn/baidu_verify_xxxxxxxxxx.html正常应返回HTTP/1.1 200 OK并且正文与百度提供的验证文件内容一致。如果返回404说明文件没有进入生产环境。如果返回200但正文是首页HTML说明路由回退接管了请求验证文件并未真正生效。5. 回到平台点击验证确认验证文件能够公开访问后再回到百度搜索资源平台点击“完成验证”或相应按钮。五、验证文件不要立即删除验证完成后不建议马上删除文件。百度后续可能会重新确认站点所有权。如果验证文件被删除可能影响站点的验证状态。六、先使用 Robots 工具检查抓取规则站点验证完成后进入百度搜索资源平台的 Robots 工具。检查当前百度读取到的robots.txt是否与生产环境一致。百度官方说明Robots工具可以用于查看、校验和更新站点的robots.txt并检查哪些页面允许或禁止百度蜘蛛抓取。当前网站的公开规则保持简单User-Agent: * Allow: / Sitemap: https://ai.linkede.cn/sitemap.xml检查时重点确认没有出现Disallow: /Sitemap地址正确百度读取到的是最新内容返回的不是404返回的不是首页HTML。七、使用抓取诊断查看百度蜘蛛真正看到的内容下一步进入数据统计 → 抓取诊断平台菜单名称可能随版本调整以实际后台显示为准。先提交首页https://ai.linkede.cn/也可以再选择一个公开内容页进行检查例如https://ai.linkede.cn/examples不要使用登录后页面用户个人页面内部管理页面带用户数据的地址不希望公开的接口或业务路径。百度的抓取诊断工具可以从百度蜘蛛的视角查看页面内容。官方说明中提到每个站点每周有一定诊断次数当前页面说明为每周70次并展示百度蜘蛛可见内容的前200KB。八、抓取诊断重点看什么抓取完成后不要只看“抓取成功”四个字。至少检查以下内容。1. HTTP状态码应当返回200如果返回403说明百度蜘蛛可能被安全策略拦截。如果返回404说明提交的页面地址不存在或者路由配置有问题。如果返回5xx则需要检查Next.js服务、Nginx反向代理和服务器稳定性。2. 页面标题抓取内容中应能看到聆机智能制造业AI工具箱 - 8D报告、SOP、点检表在线生成3. 页面正文应能够读取聆机智能制造业AI工具箱 8D报告 SOP 设备点检表 生产日报4. 是否抓到了错误页面需要确认百度蜘蛛看到的不是登录页面安全验证页面系统错误页空白页面“请启用JavaScript”页面只有div#__next的空HTML。5. 是否出现禁止收录设置检查抓取内容中是否存在noindex如果公开首页出现noindex应先修复不要继续重复提交。九、向百度提交公开链接确认抓取诊断正常后进入资源提交 → 普通收录百度目前的普通收录工具用于主动向百度提交链接可以缩短百度蜘蛛发现网址的时间但不能保证提交后一定收录。第一批不要提交太多页面先提交已经确认公开并正常返回200的地址。例如https://ai.linkede.cn/ https://ai.linkede.cn/examples https://ai.linkede.cn/pricing实际提交时应以当前 Sitemap 中的公开URL为准。十、Sitemap怎么提交如果当前百度搜索资源平台账号和站点后台提供Sitemap提交入口可以提交https://ai.linkede.cn/sitemap.xml百度将Sitemap定义为网站页面列表用于向蜘蛛提供站点中可供抓取的页面。不同账号或平台页面显示的提交方式可能有所不同。如果后台暂时没有显示Sitemap入口可以先使用普通收录的手动提交方式将第一批公开页面逐条提交。百度官方资料中列出的普通收录方式包括手动提交、API提交及Sitemap等方式但实际可用入口以当前站点后台为准。十一、提交完成后不要反复提交同一个首页很多新站长看到网站还没收录会每天重复提交首页。这种做法意义不大。提交后更值得观察的是百度蜘蛛是否访问网站抓取状态是否正常Sitemap中的页面是否都返回200网站是否有公开正文是否有外部页面链接到新站百度索引量是否开始变化。普通收录只负责帮助百度更快发现链接并不保证最终收录。十二、在服务器日志中检查百度蜘蛛提交后可以在服务器上查看是否出现百度蜘蛛访问记录。示例命令grep -i Baiduspider /var/log/nginx/access.log | tail -n 50具体日志位置以实际服务器配置为准公开文章中不需要展示真实服务器目录结构以外的更多部署信息。正常情况下可能看到类似记录Baiduspider GET / HTTP/1.1 200 Baiduspider GET /robots.txt HTTP/1.1 200 Baiduspider GET /sitemap.xml HTTP/1.1 200重点关注最后的状态码。如果出现403说明蜘蛛被拒绝。如果出现404说明请求地址不存在。如果持续出现5xx说明服务器或应用稳定性存在问题。十三、提交后怎么判断有没有开始收录可以定期在百度搜索site:ai.linkede.cn也可以搜索完整品牌词聆机智能制造业AI工具箱不过site:查询结果只能作为外部观察方式平台中的索引量、抓取诊断和抓取异常数据更适合用来判断网站是否进入百度的处理流程。刚提交后不要马上得出“没有效果”的结论。网站需要经历发现链接 → 蜘蛛抓取 → 页面分析 → 建立索引 → 搜索结果展现链接被抓取也不代表一定会进入最终搜索结果。总结完成网站内部的title、robots.txt和sitemap.xml配置后下一步就是让百度正式认识这个子域名。这次操作的核心步骤是将https://ai.linkede.cn添加到百度搜索资源平台通过验证文件确认站点归属使用Robots工具检查抓取规则使用抓取诊断确认百度蜘蛛能够读取首页通过普通收录提交公开链接在平台提供入口时提交Sitemap通过服务器日志和索引量继续观察结果。需要特别注意提交链接只能帮助百度更快发现页面不能保证页面一定被收录。网站最终能否进入搜索结果还取决于页面是否稳定、内容是否公开、正文是否有实际价值以及站点是否持续提供可被搜索的内容。下一篇准备继续记录百度之外360搜索和搜狗搜索是否还需要单独提交以及同一份Sitemap能不能直接复用。
