Python3:Requests模块的异常值处理详解编程语言

Python3:Requests模块的异常值处理

用Python的requests模块进行爬虫时,一个简单高效的模块就是requests模块,利用get()或者post()函数,发送请求。

但是在真正的实际使用过程中,我们可能会遇到网络的各种变化,可能会导致请求过程发生各种未知的错误导致程序中断,这就使我们的程序不能很好的去处理错误。所以为了使我们的程序在请求时遇到错误,可以捕获这种错误,就要用到try…except方法,以及了解requests可能发生的各种错误.

以下是request.exceptions下的各种异常错误: 
RequestException: 
HTTPError(RequestException)   
UnrewindableBodyError(RequestException)   
RetryError(RequestException)   
ConnectionError(RequestException) ProxyError(ConnectionError) 
SSLError(ConnectionError) 
ConnectTimeout(ConnectionError, Timeout) 
Timeout(RequestException) ReadTimeout 
URLRequired(RequestException)   
TooManyRedirects(RequestException)   
MissingSchema(RequestException, ValueError)   
InvalidSchema(RequestException,ValueError)   
InvalidURL(RequestException,ValueError)   
InvalidHeader(RequestException,ValueError)   
ChunkedEncodingError(RequestException)   
StreamConsumedError(RequestException,TypeError)   
ContentDecodingError(RequestException,BaseHTTPError)

在实际应用的过程中,我们可以把请求放在try下,把可能发生的异常用except获取:

while True:     # 一直循环,知道访问站点成功 
  try: 
      # 以下except都是用来捕获当requests请求出现异常时, 
       # 通过捕获然后等待网络情况的变化,以此来保护程序的不间断运行 
       req = requests.get(company_url, headers = headers, timeout = 20)     
       break
  except requests.exceptions.ConnectionError: print('ConnectionError -- please wait 3 seconds') time.sleep(3) except requests.exceptions.ChunkedEncodingError: print('ChunkedEncodingError -- please wait 3 seconds') time.sleep(3) except: print('Unfortunitely -- An Unknow Error Happened, Please wait 3 seconds') time.sleep(3)

官方异常处理文档:http://www.python-requests.org/en/master/_modules/requests/exceptions/

 

原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/16711.html

(0)
上一篇 2021年7月19日
下一篇 2021年7月19日

相关推荐

发表回复

登录后才能评论