robots

   刷了刷CTF，记录一下模糊的和不会的知识点 robots协议：网络爬虫排除标准　　它是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器…