原文标题:WordPress站点SEO优化：推荐的WordPress网站Robots.txt设置

如题

第一部分:

User-agent:

Disallow:/wp-admin/

Disallow:/readme.html

Disallow:/wp-login.php

Disallow:/wp-register.php

Disallow:/trackback/

Allow:/wp-admin/admin-ajax.php

Allow:*.js

Allow:*.CSS

Disallow:/wp-content/cache/Disallow:*/feed/

Disallow:/*?s=

Disallow:/search/

Disallow:*?ver=*

解释:

User-agent: - 这行后面应该有一个值，但这里是空的。通常，它指定了适用的搜索引擎爬虫。空值意味着以下规则适用于所有爬虫。

Disallow:/wp-admin/ - 禁止爬虫访问 /wp-admin/ 目录及其子目录。

Disallow:/readme.html - 禁止爬虫访问 readme.html 文件。

Disallow:/wp-login.php - 禁止爬虫访问 WordPress 登录页面。

Disallow:/wp-register.php - 禁止爬虫访问 WordPress 注册页面。

Disallow:/trackback/ - 禁止爬虫访问 trackback 功能相关页面。

Allow:/wp-admin/admin-ajax.php - 允许爬虫访问 admin-ajax.php 文件。

Allow:*.js - 允许爬虫访问所有 JavaScript 文件。

Allow:*.CSS - 允许爬虫访问所有 CSS 文件。

Disallow:/wp-content/cache/ - 禁止爬虫访问缓存目录。

Disallow:*/feed/ - 禁止爬虫访问所有 feed 页面(GSC报告中的feed索引是啥)。

Disallow:/*?s= - 禁止爬虫访问搜索结果页面。

Disallow:/search/ - 禁止爬虫访问搜索页面。

Disallow:*?ver=* - 禁止爬虫访问包含版本参数的 URL。

这些设置主要是为了保护网站的敏感区域，如管理后台、登录页面等，同时允许爬虫访问一些必要的资源文件（如 JS 和 CSS）。

第二部分:

User-agent: CCBot

Disallow: /

User-agent: ChatGPT-User

Disallow: /

User-agent: GPTBot

Disallow: /

User-agent: Google-Extended

Disallow: /

User-agent: Applebot-Extended 

Disallow: /

User-agent: anthropic-ai

Disallow: /

User-agent: ClaudeBot 

Disallow: /

User-agent: Omgilibot

Disallow: /

User-agent: Omgili

Disallow: /

User-agent: FacebookBot

Disallow: /

User-agent: Diffbot

Disallow: /

User-agent: Bytespider

Disallow: /

User-agent: ImagesiftBot 

Disallow: /

User-agent: PerplexityBot

Disallow: /

User-agent: cohere-ai

Disallow: /

解释:

这些屏蔽规则专门针对特定的AI爬虫或机器人：

CCBot: 用于 Common Crawl 项目的爬虫。

ChatGPT-User: 可能是 ChatGPT 用户的爬虫。

GPTBot: OpenAI 的 GPT 模型爬虫。

Google-Extended: Google 的扩展爬虫。

Applebot-Extended: Apple 的扩展爬虫。

anthropic-ai: Anthropic 公司的 AI 爬虫。

ClaudeBot: 可能是 Anthropic 的 Claude AI 模型爬虫。

Omgilibot 和 Omgili: Omgili 搜索引擎的爬虫。

FacebookBot: Facebook 的爬虫。

Diffbot: 用于网页内容提取的爬虫。

Bytespider: 字节跳动（TikTok 母公司）的爬虫。

ImagesiftBot: 图像搜索爬虫。

PerplexityBot: Perplexity AI 的爬虫。

cohere-ai: Cohere AI 公司的爬虫。

上面这些就是常见的AI内容生成工具, 它们会抓取我们网站的内容来做训练素材, 或者直接在内容生产的时候调用我们的数据或进行总结, 有时候不想被"偷"内容, 可以直接屏蔽它们的爬虫.

简单总结, That's it.

本文来源：https://google520.net/seo/83.html

版权声明：本文为向前网络工作室，未经站长允许不得转载。