搜索引擎蜘蛛一般指网络爬虫，又称为网页蜘蛛或网络机器人，是一种按照一定的规则自动地抓取万维网信息的程序或者脚本。
注意：蜘蛛到我们网站爬行的频率越高，证明搜索引擎给予我们网站的权重就越高。
常见的搜索引擎蜘蛛名称如下：
- 百度蜘蛛：Baiduspider
- 雅虎蜘蛛：Yahoo! Slurp China或Yahoo!
- 谷歌蜘蛛：Googlebot
- 有道蜘蛛：YoudaoBot或YodaoBot
- 360蜘蛛：360Spider
- MSN蜘蛛：msnbot
- 搜狗蜘蛛：Sogou News Spider
- 必应蜘蛛：bingbot
robots.txt
robots.txt 即蜘蛛协议，全称为“网络爬虫排除标准”（Robots Exclusion Protocol），也称为爬虫协议、机器人协议等，其作用是告知搜索引擎允许或不允许抓取哪些页面。
robots.txt 是一种纯文本格式的文件，使用任何一个常见的文本编辑器（比如Windows系统自带的记事本）就可以创建和编辑，它是搜索引擎进入网站后第一个爬取的文件，通常放置于网站根目录下。
例如C语言中文网的位置为：http://c.biancheng.net/robots.txt
原创文章，作者：奋斗，如若转载，请注明出处：https://blog.ytso.com/23521.html