python流式读取大文件的两种方法
推荐
在线提问>>
python流式读取大文件的两种方法
1、使用read方法分块读取
使用更底层的file.read()方法，与直接循环迭代文件对象不同，每次调用file.read(chunk_size)会直接返回从当前位置往后读取chunk_size大小的文件内容，不必等待任何换行符出现。
defcount_nine_v2(fname):
"""计算文件里包含多少个数字'9'，每次读取8kb
"""
count=0
block_size=1024*8
withopen(fname)asfp:
whileTrue:
chunk=fp.read(block_size)
#当文件没有更多内容时，read调用将会返回空字符串''
ifnotchunk:
break
count+=chunk.count('9')
returncount
2、利用生成器解耦代码
可以定义一个新的chunked_file_reader生成器函数，由它来负责所有与“数据生成”相关的逻辑。
count_nine_v3里面的主循环就只需要负责计数即可。
defchunked_file_reader(fp,block_size=1024*8):
"""生成器函数：分块读取文件内容
"""
whileTrue:
chunk=fp.read(block_size)
#当文件没有更多内容时，read调用将会返回空字符串''
ifnotchunk:
break
yieldchunk
defcount_nine_v3(fname):
count=0
withopen(fname)asfp:
forchunkinchunked_file_reader(fp):
count+=chunk.count('9')
returncount
使用iter(callable,sentinel)的方式调用它时，会返回一个特殊的对象，迭代它将不断产生可调用对象callable的调用结果，直到结果为setinel时，迭代终止。
defchunked_file_reader(file,block_size=1024*8):
"""生成器函数：分块读取文件内容，使用iter函数
"""
#首先使用partial(fp.read,block_size)构造一个新的无需参数的函数
#循环将不断返回fp.read(block_size)调用结果，直到其为''时终止
forchunkiniter(partial(file.read,block_size),''):
yieldchunk
以上就是Python流式读取大文件的两种方法，更多Python学习教程请关注IT培训机构:千锋教育。
