知行编程网知行编程网  2022-08-05 05:00 知行编程网 隐藏边栏 |   抢沙发  10 
文章评分 0 次,平均分 0.0

大家好,我是菜鸟哥,最近太冷太冷了,取暖基本靠抖,通讯基本靠吼!不过天冷了,可以涮火锅吃羊肉,补一补!反正菜鸟哥很喜欢吃火锅,可以开始搞起来!那么,今天我们就用Python爬取某点评网站的火锅数据,一起找找好吃的火锅在哪里吧~~

 

目录

  • 1.说明
  • 2.北京火锅店基础数据
  • 3.北京火锅店评分数据
  • 4.评价数及人均消费
  • 5.都有哪些连锁店
  • 6.爬虫过程
  • 7.其他

接下来,我们来看看北京好吃的火锅都在哪里吧~

1.说明

环境

!! 环境
Windows:Windows-10
Python版本:3.7.9
IDE:Spyder 4.1.5
绘图库:matplotlib

数据

!! 数据
数据来源:大众点评-美食-北京-火锅
表单字段:['地区', '火锅类型', 'id', '商家名称', '商家评分', '评价数', '人均消费', '口味', '环境', '服务', '地址', '推荐菜']
表单数量:6416条有效数据(另有4000余条无评价等的店铺数据,记为无效数据,已删除)

2.北京火锅店基础数据

北京一共有5319家有评分的有效火锅店铺。我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!

2.1. 火锅分类

算不上吃货的我,只知道两种火锅:火锅和铜锅。仔细一看,发现有接近小30种火锅种类,咱中国人真讲究。我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!

在北京品类最多的有老北京火锅高达1020家,其次是川味麻辣火锅、羊蝎子火锅及串串香等。我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!

以下是绘图代码:

2.2. 各地区火锅分类

以才哥在的海淀区为例,火锅类型最多的是川味麻辣,其次是老北京火锅、串串香和重庆火锅。不得不说,这些都是我爱吃的。

我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!

地区火锅分类热力图

以下是制作代码:

2.3. 各地区火锅店数量

不得不说朝阳区也太牛了,接近1200家店,占总店的20%+。其次是咱们海淀、昌平这种打工人聚集的地方~我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!

3.北京火锅店评分数据

从大众点评上爬取的店铺数据中,我们可以看到评分相关的数据指标有 商家评分(4.97)、口味、环境和服务评分共5类。我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!

3.1. 评分直方图

组合四类评分绘制叠加直方图,可以看见基本上各项评分的分布基本一致,大部分分布在4分以下或者4.5分以上,两级分化比较明显。我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!以下是绘图代码:

3.2. 各地区商家评分箱线图

如图我们可以发现,东城区、朝阳区、西城区和海淀区是商家评分较高普遍较高,而密云和延庆等郊区除了个别火锅店评分较高之外整体普通较低。当然,这个其实是地理位置影响优质店铺选址,从而呈现这种表现。我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!以下是绘图代码:

商家评分最高前5我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!

3.3. 各地区口味评分箱线图

对比商家评分的箱线图,我们发现东城区火锅店的口味评分有超过一半以上的店面超过了4.5分,基本上口味好的火锅店也都在北京的中心城区。我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!口味评分最高前5我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!

3.4. 各地区环境评分箱线图

环境评分整体较好的在东城区和朝阳区我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!环境评分最高前5我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!

3.5. 各地区服务评分箱线图

服务评分整体较好的也是在东城区和朝阳区我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!服务评分最高前5我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!

3.6. 各地区各项评分

我们查看四项评分之间的散点图矩阵,各地区的火锅店,商家评分和口味,环境与服务关联更强。口味好的一般评分应该不会太差,环境好的服务也一般不错。我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!

以下是绘图代码:

4.评价数及人均消费

我在大众点评找店子的时候,除了看评分之外,评价数和人均消费也是极其重要的考量。当看到评价数极高的时候,内心会不由的表示惊叹“哇塞,这么多人写评价啊”;当看到人均消费极高的时候,也会想着啥时候我也要去吃一次,哈哈~

4.1. 整体评价数分布

先用描述统计看,发现评价数最多的有3.2万个,最少的仅1个,75%的火锅店评价在900以下,更有25%的火锅店评价不到23个。

一定程度上,评价数能反应一家店在广大吃货中的火爆度,我们发现最火的前5家有3家来自西城区,海淀区和东城区各1家。我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!

以下是2家评价数破3万的热门火锅店~我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!

4.2.人均消费情况

一共有人均消费数据的店铺4129家,其中均值100元,中位数也是95元,最高的是1220元(我的天,这是啥火锅?)。我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!

4.2.1.人均消费最贵的都有谁

人均消费最贵第1名是一家日韩火锅,推荐菜基本都是日料类。其次,人均消费较高的都是海鲜火锅一类,你看那些推荐菜都是帝王蟹、澳龙啥的,想吃了,哈哈!!我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!

以下是2家人均消费破千的火锅店~我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!

4.2.2.人均消费分布

大部分的火锅店人均消费低于100元,其次是100-150元区间。极少数在200+,虽然能吃的主很容易吃出200+的其实!!我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!以下是绘图代码:

我们经常听的海底捞火锅店的人均消费大概在130左右我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!

5.都有哪些连锁店

一共有349家品牌火锅有分店。我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!

5.1.火锅分店前10品牌

果然是哪都有的呷哺呷哺(找了半天发音)以多大289家分店稳居第一!看着这些品牌,基本都是比较常见熟悉的,基本上都吃过来着。我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!

5.2.火锅分店前10品牌人均消费

海底捞 人均消费 基本都在120以上,玩儿串串是一家什么店呀,人均基本都低于40,其次就是开了快300家店的呷哺呷哺也是人均消费比较合适。我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!

5.3.火锅分店前10品牌商家评分

好吧,又是海底捞 评分表现最佳,可恶的海底捞。不过各家品牌大部分评分还是都不错,在4.25分以上。玩儿串串作为小吃摊位放在这群雄里显得有点格格不入了,哈哈!我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!

玩儿串串原来是这种,在购物中心的美食中心里的偏快餐式的串串儿~我用Python采集了6万多家火锅店数据,好吃的火锅在哪里!

6.爬虫过程

这里不介绍详细的爬虫过程,详细的见后续推送哈(主要是篇幅有限 写不完)。

咱们简单说说在爬虫过程中遇到的一些问题及解决方案。

FAQ

①大众点评的搜索结果最多只显示50页,如果获取全部数据?

解:搜索有多级选择,以北京火锅为例就是 子分类+地区,我们看到一页15家店铺最多50页就有750家,加上诸多级选择基本可以覆盖全部店铺。

②未登录情况下无法查看下一页获取地址规律

解:直接登录账号然后点击下一页查看地址变化规律呗。

③爬着爬着很快就被封ip了

解:嗯,而且不是说爬慢点就行,我就被封了2个ip貌似都是封1天以上,最后买了1000个ip代理,被封了就自动换解决。

④部分店铺信息对应字典为方框无法解析

解:网上有很多这种css字体加密解密的文章,边看边学吧(反正作为菜鸟的我是这么来的)

以下代码为简单的解析 北京火锅 子分类的脚本

header = {
"Accept-Encoding""Gzip",  # 使用gzip压缩传输数据让访问更快
"User-Agent""Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:83.0) Gecko/20100101 Firefox/83.0",
}

url_beijing = 'http://www.dianping.com/beijing/ch10' #北京菜系
rep_beijing = requests.get(url_beijing, headers= header)
html_beijing = rep_beijing.text
location_html = re.findall('<div id="region-nav" class="nc-items">([sS]*?)</div>',html_beijing)[0#获取地区的数据内容
location_name = re.findall('data-click-title="(.*?)"', location_html) #获取地区名称列表
location_id = re.findall('<a href="http://www.dianping.com/beijing/ch10/(.*?)"',location_html) #获取地区编号id
dic_location = dict(zip(location_name,location_id)) #组合成字典备用

url_huoguo = 'http://www.dianping.com/beijing/ch10/g110' #火锅
rep_huoguo = requests.get(url_huoguo, headers= header)
html_huoguo = rep_huoguo.text
type_html = re.findall('<div id="classfy-sub" class="nc-items nc-sub">([sS]*?)</div>',html_huoguo)[0#获取火锅类型的数据内容
type_name = re.findall('<span>(.*?)</span>', type_html) #获取火锅类型名称列表
type_name = type_name[1:] #第一个是不限,需要去掉
type_id = re.findall('data-cat-id="(.*?)"',type_html) #获取火锅类型id
dic_type = dict(zip(type_name,type_id)) #组合成字典备用

7.如何获取代码

需要本文的数据和代码,可以在后台输入:小助手,找他领取,备注暗号:北京火锅
大家可以捣鼓更多的数据关联表现,虽然可能并没有实际的啥作用,哈哈!喜欢吃火锅的同学可以在文末留言评论区说说你最喜欢吃的火锅,经常来留言,我们月底会统计,送书的哦

 

免责声明: 那个,咱们爬虫仅用于简单交流,切勿用做任何商业用途

本文为原创文章,版权归所有,欢迎分享本文,转载请保留出处!

知行编程网
知行编程网 关注:1    粉丝:1
这个人很懒,什么都没写

发表评论

表情 格式 链接 私密 签到
扫一扫二维码分享