如何优化WordPress Robots.txt文件以获得更好的SEO

如果您想知道如何优化WordPress robots.txt文件以获得更好的搜索引擎优化，那么您来对地方了。

在本快速指南中，我将解释robots.txt文件的内容，为什么提高搜索排名很重要，以及如何对其进行编辑并将其提交给Google。

什么是WordPress robots.txt文件，我需要担心吗？

robots.txt文件是您网站上的一个文件，允许您拒绝搜索引擎访问某些文件和文件夹。您可以使用它阻止Google（和其他搜索引擎）机器人抓取您网站上的某些网页。以下是该文件的示例：

那么拒绝访问搜索引擎实际上如何改善你的SEO？似乎违反直觉……

它的工作方式如下：您网站上的网页越多，Google必须抓取的网页就越多。

例如，如果您的博客上有很多类别和标签页面，那么这些页面质量很差，不需要被搜索引擎抓取; 它们只会消耗您网站的抓取预算（Google将在任何指定时间在您的网站上抓取的分配页数）。

抓取预算非常重要，因为它可以确定Google对您网站更改的速度 – 以及您排名的速度。它可以特别有助于电子商务SEO！

只是要小心这样做，因为如果做得不好会损害你的SEO。有关如何正确取消索引正确页面的更多信息，请查看DeepCrawl的本指南。

那么，你需要搞乱你的WordPress robots.txt文件吗？

如果你在一个拥有大型网站的竞争激烈的市场中，可能就是这样。但是，如果您刚刚开始创建第一个博客，那么构建指向您内容的链接并创建大量高质量文章  是更重要的优先事项。

如何优化WordPress robots.txt文件以获得更好的SEO

现在，让我们讨论如何实际获取（或创建）和优化WordPress robots.txt文件。

Robots.txt通常位于您网站的根文件夹中。您需要使用FTP客户端  或使用cPanel的文件管理器连接到您的站点以  进行查看。它只是一个普通的文本文件，您可以使用记事本打开它。

如果您站点的根目录中没有robots.txt文件，则可以创建一个。您需要做的就是在计算机上创建一个新的文本文件并将其另存为robots.txt。然后，只需将其上传到您网站的根文件夹即可。

理想的robots.txt文件是什么样的？

robots.txt文件的格式非常简单。第一行通常命名用户代理。用户代理是您尝试与之通信的搜索机器人的名称。例如，Googlebot或Bingbot。您可以使用星号*来指示所有机器人。

下一行是关于搜索引擎的允许或不允许的说明，因此他们知道您希望它们索引哪些部分，以及您不希望索引哪些部分。

这是一个例子：

User-Agent: *
Allow: /?display=wide
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /refer/

Sitemap: http://www.codeinwp.com/post-sitemap.xml
Sitemap: http://www.codeinwp.com/page-sitemap.xml
Sitemap: http://www.codeinwp.com/deals-sitemap.xml
Sitemap: http://www.codeinwp.com/hosting-sitemap.xml

请注意，如果您使用的是Yoast或All in One SEO等插件，则可能不需要添加sitemap部分，因为他们会尝试自动执行此操作。如果失败，您可以像上面的示例一样手动添加它。

我应该禁止或禁止索引？

在Google的网站管理员指南中，他们建议网站管理员不要使用他们的robots.txt文件来隐藏低质量的内容。因此，使用robots.txt文件阻止Google索引您的类别，日期和其他存档页面可能不是明智的选择。

请记住，robots.txt的目的是指示机器人如何处理他们在您网站上抓取的内容。它不会阻止他们抓取您的网站。

此外，您不需要将您的WordPress登录页面，管理目录或注册页面添加到robots.txt，因为登录和注册页面具有WordPress自动添加的noindex标记。

但是，我建议您禁止robots.txt文件中的readme.html文件。有人试图找出您正在使用的WordPress版本，可以使用此自述文件。如果这是一个人，他们只需浏览即可轻松访问该文件。另外，放入禁止标记可以阻止恶意攻击。

说到这一点，您还可以禁止您的WordPress插件目录，以提高您的网站的安全性，防止任何人搜索特定的易受攻击的插件来利用。

如何将WordPress robots.txt文件提交给Google？

更新或创建robots.txt文件后，您可以使用Google Search Console将其提交给Google。

但是，我建议先使用Google的robots.txt测试工具对其进行测试。

如果您没有看到此处创建的版本，则必须将您创建的robots.txt文件重新上传到WordPress网站。你可以使用Yoast SEO来做到这一点。

结论

您现在知道如何优化WordPress robots.txt文件以获得更好的SEO。

在通过robots.txt对您的网站进行任何重大更改时请务必小心。虽然这些更改可以改善您的搜索流量，但如果您不小心，它们也可能弊大于利。