BeautifulSoup模块的简单使用详解编程语言

可以通过dir(BeautifulSoup.BeautifulSoup)查看其有什么函数,如果想知道某个函数的含义可以使用help(BeautifulSoup.BeautifulSoup.find)来查看其官方文档。

可以使用pprint来整输出,使用dir和help之前一定要import BeautifulSoup。

    # -*- coding:utf8 -*-   
    import urllib   
    import urllib2   
    import BeautifulSoup   
    import re   
        
    htmlSource = urllib.urlopen("http://www.taobao.com/").read(200000)   
    soup = BeautifulSoup.BeautifulSoup(htmlSource)   
       
    #输出<head>...</head>   
    print soup.head   
       
    #输出<title>...</title>   
    print soup.head.title   
       
    #会返回一个列表,每个列表元素都是<a>...</a>    
    tags = soup.findAll('a')   
    print tags   
       
    print '京东放养的爬虫'   
       
    #取<a></a>中间包含的元素,如果有href则输出   
    for item in soup.fetch('a',href=True):   
        print item['href']   
           
    #找到所有的<a></a>,如果其中href元素中含有taobao则输出   
    for a in soup.findAll('a',href=True):   
        if re.findall('taobao', a['href']):   
            print "Found the URL:", a['href']   
               
    #输出<div></div>中间class属性等于J_Tanx mod,只输出第一个   
    print str(soup.find("div",{"class":"J_Tanx mod"}))  

原创文章,作者:奋斗,如若转载,请注明出处:https://blog.ytso.com/8393.html

(0)
上一篇 2021年7月18日
下一篇 2021年7月18日

相关推荐

发表回复

登录后才能评论