导语:
本文主要介绍了关于python3过大数据如何读取?的相关知识,包括python读取千万级数据库数据,以及python大数据处理这些编程知识,希望对大家有参考作用。
python中读取大文件的方法:
1、利用yield生成器读取
def readPart(filePath, size=1024, encoding="utf-8"):
with open(filePath,"r",encoding=encoding) as f:
while True:
part = f.read(size)
if part:
yield part
else:
return None
filePath = r"filePath"
size = 2048 # 每次读取指定大小的内容到内存
encoding = 'utf-8'
for part in readPart(filePath,size,encoding):
print(part)
# Processing data
2.使用open()自带方法生成迭代对象,逐行读取
with open(filePath) as f:
for line in f:
print(line)
# Processing data
本文为原创文章,版权归知行编程网所有,欢迎分享本文,转载请保留出处!
你可能也喜欢
- ♥ java调用python时出现乱码如何解决12/01
- ♥ python依赖安装失败怎么办?12/12
- ♥ 带有字节的python进程文件12/13
- ♥ python u开头的乱码怎么解决12/21
- ♥ 该命令在 python3 操作系统中如何工作?有什么不同?12/20
- ♥ 如何在windows64位下下载Python2.7?01/10
内容反馈