强化版的 requests,这个库真牛 x

强化版的 requests,这个库真牛 x

知行编程网 python社区 2年前 (2022-02-19) 21 0

最近公司 Python 后端项目进行重构,整个后端逻辑基本都变更为采用"异步"协程的方式实现。看着满屏幕经过 async await(协程在 Python 中的实现)修饰的代码,我顿时感到一脸懵逼,不知所措。 虽然之前有了解过"协程"是什么东西,但并没有深入探索,于是正好借着这次机会可以好好学习一下。  什么是协程? 简单来说,协程是一种基于线程之上,但又比线程更加轻量级的存在。对于系统内核来说,...

案例对比 Requests、Selenium、Scrapy 谁是yyds?

案例对比 Requests、Selenium、Scrapy 谁是yyds? 4

知行编程网 python社区 2年前 (2022-02-14) 52 0

经常有读者会爬虫学哪个库?其实常用的 Python 爬虫库无非是requests,selenium和scrapy,且每个库都有他们的特点,对于我来说没有最推荐的库只有最合适库,本文就将基于一个简单的爬虫案例(Python爬取起点中文网)来对比分析(从时间角度)三个库 目标需求为批量采集排行榜书籍信息,如下图所示: 页面结构很容易分析出来,排行榜100条书籍信息,一个静态页面包含20条数据。使用不同...

比 requests 更强大 Python 库,让你的爬虫效率提高一倍!

比 requests 更强大 Python 库,让你的爬虫效率提高一倍!

知行编程网 python社区 2年前 (2022-02-13) 51 0

最近公司  Python 后端项目进行重构,整个后端逻辑基本都变更为采用"异步"协程的方式实现。看着满屏幕经过 async await(协程在 Python 中的实现)修饰的代码,我顿时感到一脸懵逼,不知所措。 虽然之前有了解过"协程"是什么东西,但并没有深入探索,于是正好借着这次机会可以好好学习一下。 什么是协程? 简单来说,协程是一种基于线程之上,但又比线程更加轻量级的存在。对于系统内核来说,...

爬虫系列 | 4、详解Requests的用法

爬虫系列 | 4、详解Requests的用法 3

知行编程网 python社区 2年前 (2022-01-23) 13 0

前面了解了爬虫和网络请求,下面就可以开始正式的了解Python中爬虫相关的模块了。 很多爬虫相关的书籍一般刚开始都会讲一下urllib模块,等你跟着书中的学完之后,会告诉你urllib模块用起来比较复杂,通常不使用 确实,urllib是一个比较古老的模块,封装的爬虫方法也相对复杂。所以可以直接开始撸requests模块. Requests模块的作用就是模拟浏览器发送请求。是Python中原生的一款...

Python下载文件的11种方式

Python下载文件的11种方式 34

知行编程网 python社区 2年前 (2022-01-02) 1,942 0

译者:天天向上    英文原文: https://dzone.com/articles/simple-examples-of-downloading-files-using-python  在本教程中,你将学习如何使用不同的Python模块从web下载文件。此外,你将下载常规文件、web页面、Amazon S3和其他资源。 最后,你将学习如何克服可能遇到的各种挑战,例如下载重定向的文件、下载大型文...

扫一扫二维码分享