meta robots标签用法详解

最简单的 meta robots 标签格式为：

<meta mane="robots" content="noindex, nofollow">

上面标签的意义是禁止所有搜索引擎索引本页面，禁止跟踪本页面上的链接。

谷歌、必应、雅虎都支持的 meta robots 标签如下。

• noindex：告诉蜘蛛不要索引本页面。
• nofollow：告诉蜘蛛不要跟踪本页面上的链接。
• nosnippet：告诉搜索引擎不要在搜索结果中显示说明文字。
• noarchive：告诉搜索引擎不要显示快照。
• noodp：告诉搜索引擎不要使用开放目录中的标题和说明。

百度的官方说法是目前只支持 nofollow 和 noarchive。

meta robots 标签内容可以写在一起，以逗号间隔，中间可以有空格，也可以没有。

多个 meta robots 内容也可以写成不同标签，例如：

<meta mane="robots" content="nofollow">
<meta mane="robots" content="noindex">

与下面这个是一样的：

<meta mane="robots" content="noindex, nofollow">

meta robots 标签不区分大小写。

只有禁止索引时，使用 meta robots 才有意义，否则是没有意义的，等于没写。如果页面需要被搜索引擎收录、索引或者希望搜索引擎跟踪该页面的所有链接，就不需要写 meta robots 标签。比如下面这个标签：

<meta mane="robots" content="index, follow">

下面这个标签有时会用到：

<meta mane="robots" content="noindex">

效果是禁止索引本页面，但允许蜘蛛跟踪页面上的链接，也可以传递权重。

使用了 noindex meta robots 标签的页面会被抓取，但不会被索引，页面 URL 不会出现在搜索结果中，这一点与 robots 文件不同。