导语:
本文主要介绍了关于用python可以下载网页源码吗的相关知识,包括python登录网站,以及python源码库这些编程知识,希望对大家有参考作用。
Python可以下载网页源码,使用urllib库,或者使用更方便的requests库。
import urllib2
def download(url, num_retries = 5):
'''
function: 下载网页源代码,如果遇到 5xx 错误状态,则继续尝试下载,直到下载 num_retries 次为止。
'''
print "downloading " , url
try:
html = urllib2.urlopen(url).read()
except urllib2.URLError as e:
print "download error: " , e.reason
html = None
if num_retries > 0:
if hasattr(e,'code') and 500 <= e.code < 600:
return download(url, num_retries-1)
return html
其中url就是你要呈现的网页地址。 num_reties 是遇到 5xx 错误时重试下载的次数。
本文为原创文章,版权归知行编程网所有,欢迎分享本文,转载请保留出处!
你可能也喜欢
- ♥ python3.5中cmp的使用方法01/12
- ♥ 如何使用 python 抓取音乐?11/17
- ♥ 如何编写python日志操作10/04
- ♥ 如何检查python中有多少位10/07
- ♥ 如何区分python返回函数和返回值?01/06
- ♥ python如何使数字四舍五入?09/08
内容反馈