知行编程网知行编程网  2022-04-29 06:00 知行编程网 隐藏边栏 |   抢沙发  54 
文章评分 0 次,平均分 0.0

同学,你的多线程可别再乱 join 了!

摄影:产品经理
水天一色

如果你在网上搜索“Python 多线程”,那么你会看到很多文章里面用到了一个关键词,叫做.join()。但是很多人的代码里面都在乱用 join(),例如:

运行效果如下图所示:

同学,你的多线程可别再乱 join 了!

更有甚者,这样写代码:

运行效果如下图所示:

同学,你的多线程可别再乱 join 了!

发现三个线程是串行执行的,要运行一共8+5+3=16秒才能结束,于是得出结论——Python 由于有 GIL 锁的原因,所以多线程是一个线程运行完才运行另一个线程。

抱有这种想法的人,是根本不知道.join()有什么用,就在跟着别人乱用,以为只要使用多线程,那么每个线程都必须要 join。

实际上,根本不是这样的,你只需要 join运行时间最长的那个线程就可以了:

同学,你的多线程可别再乱 join 了!

你会发现这样的运行效果,跟每个线程 join 一次是完全一样的。

要理解这个问题,我们需要知道,join 有什么作用。

当我们没有 join 的时候,我们会发现子线程似乎也能正常运行,如下图所示:

同学,你的多线程可别再乱 join 了!

三个子线程启动以后,主线程会继续运行后面的代码。

那 join 到底有什么用呢?join 会卡住主线程,并让当前已经 start 的子线程继续运行,直到调用.join的这个线程运行完毕。

所以,如果代码写为:

当代码运行到thread_1.join()时,主线程就卡住了,后面的thread_2.start()根本没有执行。此时当前只有 thread_1执行过.start()方法,所以此时只有 thread_1再运行。这个线程需要执行8秒钟。等8秒过后,thread_1结束,于是主线程才会运行到thread_2.start(),第二个线程才会开始运行。所以这个例子里面,三个线程串行运行,完全是写代码的人有问题,而不是什么 GIL 锁的问题。

而当我们把代码写为:

当代码执行到thread_1.join()时,当前三个子线程均已经执行过.start()方法了,所以此时主线程虽然卡住了,但是三个子线程会继续运行。其中线程3先结束,然后线程2结束。此时线程1还剩3秒钟,所以此时thread_1.join()依然是卡住的状态,直到线程1结束,thread_1.join()解除阻塞,代码运行到thread_2.join()中,但由于thread_2早就结束了,所以这行代码一闪而过,不会卡住。同理,thread_3.join()也是一闪而过。所以整个过程中,thread_2.join()thread_3.join()根本没有起到任何作用。直接就结束了。

所以,你只需要 join 时间最长的这个线程就可以了。时间短的线程没有 join 的必要。根本不需要把这么多个 join 堆在一起。

为什么会有 join 这个功能呢?我们设想这样一个场景。你的爬虫使用10个线程爬取100个 URL,主线程需要等到所有URL 都已经爬取完成以后,再来分析数据。此时就可以通过 join 先把主线程卡住,等到10个子线程全部运行结束了,再用主线程进行后面的操作。

那么可能有人会问,如果我不知道哪个线程先运行完,那个线程后运行完怎么办?这个时候是不是就要每个线程都执行 join 操作了呢?

确实,这种情况下,每个线程使用 join是合理的:



同学,你的多线程可别再乱 join 了!

● 80%的人都不知道,全球Python库下载前10名

● 我珍藏的一些好的Python代码,技巧|上篇

● 爬取300本Python书籍,用Python告诉你哪家强?

● 简单几步,100行代码用Python画一个蝙蝠侠的logo
● 我用Python分析了《青春有你2》109位漂亮小姐姐,真香!


同学,你的多线程可别再乱 join 了!

点赞是最大的支持 

本篇文章来源于: 菜鸟学Python

本文为原创文章,版权归所有,欢迎分享本文,转载请保留出处!

知行编程网
知行编程网 关注:1    粉丝:1
这个人很懒,什么都没写

发表评论

表情 格式 链接 私密 签到
扫一扫二维码分享