python scrapy如何处理翻页

说明

1、根据scrapy框架的运行特点，翻页必须和数据处理分开，否则无法执行。

2、确定url地址，构造url地址的请求对象，向引擎发送请求。

构造请求

scrapy.Request(url, callback)

callback：指定解析函数名，表示使用哪个函数解析请求返回的response。

实例

 scrapy.Request(url, callback=None, method='GET', headers=None, body=None, cookies=None, meta=None,
                         encoding='utf-8', priority=0, dont_filter=False, errback=None, flags=None)

本文教程操作环境：windows7系统、Python 3.9.1，DELL G3电脑。