知行编程网知行编程网  2022-09-16 12:00 知行编程网 隐藏边栏  177 
文章评分 0 次,平均分 0.0
导语: 本文主要介绍了关于python如何读取大文件的相关知识,包括python打开大文件,以及python读取10万行数据这些编程知识,希望对大家有参考作用。

python如何读取大文件

可以通过两种方法利用python读取大文件:第一种是

利用yield生成器读取;第二种是:

使用 open() 方法生成迭代对象,即逐行读取。


1、利用yield生成器读取

def readPart(filePath, size=1024, encoding="utf-8"):
    with open(filePath,"r",encoding=encoding) as f:
        while True:
            part = f.read(size)  
            if part:
                yield part
            else:
                return None
filePath = r"filePath"
size = 2048 # 每次读取指定大小的内容到内存
encoding = 'utf-8'
for part in readPart(filePath,size,encoding):
    print(part)
    # Processing data

2.使用open()内置方法生成迭代对象,即逐行读取

with open(filePath) as f:
    for line in f:
        print(line)
        # Processing data

python
相关操作文档欢迎查看:

更多Python知识可以关注


(推荐操作系统:windows7系统、Python 3.9.1,DELL G3电脑。)

本文为原创文章,版权归所有,欢迎分享本文,转载请保留出处!

知行编程网
知行编程网 关注:1    粉丝:1
这个人很懒,什么都没写
扫一扫二维码分享