知行编程网知行编程网  2023-01-13 21:30 知行编程网 隐藏边栏  4 
文章评分 0 次,平均分 0.0
导语: 本文主要介绍了关于用python可以下载网页源码吗的相关知识,包括python登录网站,以及python源码库这些编程知识,希望对大家有参考作用。

我可以使用python下载网页的源代码吗?

Python可以下载网页源码,使用urllib库,或者使用更方便的requests库。

import urllib2
def download(url, num_retries = 5):
    '''
    function: 下载网页源代码,如果遇到 5xx 错误状态,则继续尝试下载,直到下载 num_retries 次为止。
    '''
    print "downloading " , url
    try:
        html = urllib2.urlopen(url).read()
    except urllib2.URLError as e:
        print "download error: " , e.reason
        html = None
        if num_retries > 0:
            if hasattr(e,'code') and 500 <= e.code < 600:
                return download(url, num_retries-1)

    return html

其中url就是你要呈现的网页地址。 num_reties 是遇到 5xx 错误时重试下载的次数。

本文为原创文章,版权归所有,欢迎分享本文,转载请保留出处!

知行编程网
知行编程网 关注:1    粉丝:1
这个人很懒,什么都没写
扫一扫二维码分享