WordPress 5.3将改变网站阻止被搜索引擎搜索的方式

网站建设

WordPress宣布了一个重要的变化，它将阻止搜索引擎从索引网站。这种变化放弃了传统的Robots.txt解决方案，转而采用机器人元标记方法。这一变化使WordPress与阻止谷歌的原因一致，即阻止被阻止的网页显示在谷歌的搜索结果中。

这是WordPress将使用的机器人元标记：

<meta name =’robots’content =’noindex，nofollow’/>

阻止Google从索引编制

长期以来，使用Robots.txt来阻止网站的“索引”是一种标准做法。

“索引”一词意味着GoogleBot会抓取该网站。通过使用Robots.txt阻止功能，您可以阻止Google下载指定的网页，并且假设Google无法在搜索结果中显示您的网页。

但robots.txt指令仅阻止Google抓取该网页。如果Google能够发现该网址，Google仍然可以将其添加到索引中。

因此，为了阻止网站出现在索引中，发布商会阻止Google对网页进行“索引”。这不是一贯有效的。

WordPress 5.3将真正防止索引

WordPress采用了Robots.txt方法。但是版本5.3中的情况正在发生变化。

当发布商目前选择“ 阻止搜索引擎索引此网站 ”时，它会向该网站的robots.txt添加一个禁止Google抓取网站的条目。

从WordPress 5.3开始，WordPress将采用更可靠的机器人元标记方法来阻止网站的索引。

此更改将影响“阻止搜索引擎索引此站点”设置。 

这种变化是一种改进。WordPress发布商可以更安全地知道被阻止的网页不会显示在Google的搜索结果中。

为什么WordPress使用Robots.txt？

WordPress依靠Robots.txt来阻止网站的索引，因为每个人都不会在Google的搜索结果中显示网页。这是标准的做法。

然而，即使每个人都这样做，正如已经解释过的那样，这是一种不可靠的方法。

“索引”一词有两个含义：

1. 索引意味着抓取，就像Googlebot访问和下载网页时一样。
2. 索引还可以意味着将网页添加到Google的网页数据库（称为索引）。

阻止谷歌“索引”网页将使其无法看到网页，但谷歌仍然可以将网页编入索引并将其添加到谷歌的索引中。合理？

Robots.txt与机器人元标记

将网页保留在Google索引之外并不是Robots.txt解决方案的目的。这样做是机器人元标记的工作。

因此，很高兴看到WordPress将机器人元标记作为阻止网页在搜索引擎中显示的解决方案。

WordPress 5.3计划于2019年11月发布。