本人现职系统运维，随着技术发展，越来越多的系统开始提倡自动化运维，而且运维职位也不是几年前只懂shell就可以了，前几年找工作任职要求还是熟练shell，会python有加分，现在已经是熟悉shell、python、perl、java等语言任意两种，要求有所提高，所以有些压力的我也一直再搞python，无奈看了很多基础的文档了，最后还是有些无从下手的感觉，所以借着51CTO博客改版，把学习记录一下，希望能通过写博客来真正搞懂python，由于我也是刚开始学习，如果有哪里写的有问题，也欢迎大家指正，下面开始正题吧。

1、学习爬虫需要哪些知识

Python基础知识

Python中urllib库的用法（python3后urllib和urllib2合并为urllib，具体见官网）

Python正则表达式

Python爬虫框架Scrapy

因为刚开始学习，暂时就列这么多吧，后续有新内容再更新。

1.1 python基础

书籍推荐：《python编程从入门到实践》

其它：简明python教程

博客：廖雪峰python教程

静觅 崔庆才的个人博客（我也参考这个博客学习，博客中的内容也会引用这个博客的内容，这个博客写的很好，很详细，只不过是python2的，我用python3写的）

1.2 urllib

学习Python爬虫最基本的urllib模块，利用这个模块我们可以得到网页的内容，并对内容用正则表达式提取分析，得到我们想要的结果。

1.3 python正则表达式

正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。

1.4 Python爬虫框架Scrapy

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

大体的学习方向就是以上这几点，后续有增加再及时更新，共勉！