原文标题:WordPress网站正确设置Robots.txt文件方法

什么是Robots.txt？

Robots.txt文件规定了搜索引擎爬虫可以或者不可以爬取的内容，在WordPress中通常像RanKMath SEO这样的SEO插件都是会自动生成Robots.txt文件的，所以在默认情况下，不需要你手动修改。

如果你修改了反而很可能导致网站无法访问，所以对于Robots.txt编辑你应该谨慎，编辑之前做好网站备份。

如何为你的WordPress网站生成Robots.txt文件？

使用SEO工具帮你自动生成即可，不需要手动编辑。

下图是RankMath SEO生成的Robots.txt文件内容。

User-Agent（用户代理）：指定哪些用户代理可以访问，*号代表所有用户代理都可以访问。

Disallow：代表要屏蔽的目录和文件，/wp-admin/ 代表屏蔽网站所有后台URL。

Allow：代表允许访问的目录和文件，admin-ajax.php文件包含在WordPress上路由Ajax请求的所有代码。它的主要目的是使用Ajax在客户端和服务器之间建立连接。WordPress使用它来刷新页面内容而无需重新加载，从而使其动态且与用户交互。

Sitemap：代表网站的站点地图，是用来告诉搜索引擎你的网站目录结构的，方便搜索引擎爬取和收录页面，RanKMath SEO可以帮你自动生成sitemap.xml文件。

本文来源：https://google520.net/seo/226.html

版权声明：本文为向前网络工作室，未经站长允许不得转载。