知行编程网知行编程网  2022-10-14 04:30 知行编程网 隐藏边栏  28 
文章评分 0 次,平均分 0.0
导语: 本文主要介绍了关于python多线程处理大量文件数据的相关知识,包括python多进程写入同一文件,以及python多进程处理数据这些编程知识,希望对大家有参考作用。


python多线程处理大量文件数据

python 中,我们会遇到处理大量文件数据的时候。如果我们使用for循环顺序处理,处理文件数据的效率很低,那么我们可以使用我们的多线程处理多个大文件数据。



第一步:导入import threading 模块

import threading

第二步:使用多线程同时打开和运行多条数据

#! /usr/bin/env python
#encoding=utf-8
 
import threading
import time
from Queue import Queue
 
def readFile():
    file_object = open('/opt/dev/python/list.dat')
    global queue
    for line in file_object:                    
        queue.put(line)
 
class Consumer(threading.Thread):
    def run(self):
        global queue
        while queue.qsize() > 0:
            msg = self.name + '消费了 '+queue.get()
            print msg
            time.sleep(0.01)
 
queue = Queue()
def main():
    readFile()
    for i in range(5):
        c = Consumer()
        c.start()
 
if __name__ == '__main__':
    main()

以上是python多线程处理大量数据的demo代码。如果有小伙伴需要处理大量文件,可以尝试使用多线程,会方便很多~



(推荐操作系统:windows7系统、Python 3.9.1,DELL G3电脑。)

本文为原创文章,版权归所有,欢迎分享本文,转载请保留出处!

知行编程网
知行编程网 关注:1    粉丝:1
这个人很懒,什么都没写
扫一扫二维码分享