大文件读取的实现-PYTHON

当前一个大文件大小,比当前的机器的内存大,先读取某个文件里的一部分。

文件遍历

因为文件保存了很多字符和行,因此也是循环常见的典型使用案例,最原始的方法可以调用文件对象的read方法,把文件内容一次性加载至字符串对象

file = open('myfile.txt', 'r')
print(file.read())

hello text file
goodbyt text file
Hahahahah

或者for读取这样的文件:

for方法一、

with open(file) as f:
    list_of_lines = f.readlines()

或者

for line in open('myfile.txt','r').readlines():
print(line, end='')

for方法二、

f = open(file)
for line in file:
     #do something

第一种方法通过readlines方法,会首先一次性把文件载入到行字符串列表中,然后再对这个字符串列表进行迭代;
第二种方法运行的原理则有所不同,他并非一次性将全部的文件内容载入到内存中,而是在迭代的时候,循环到了哪一行才将哪一行读入到内存。这里涉及到一个新的概念—-迭代器(open函数返回的那个就是文件迭代器)。

上面的方式都不适合或者不是最优解。

解决方案

您想要的是逐行读取文件,而忽略除某些行(例如,行[17,34))以外的所有行。

enumerate遍历文件时,尝试使用跟踪行号。这是一种基于生成器的方法,该方法yield一次只输出一条有趣的行:

def read_only_lines(f, start, finish):
    for ii,line in enumerate(f):
        if ii>=start and ii<finish:
            yield line
        elif ii>=finish:
            return

f = open("big text file.txt", "r")
for line in read_only_lines(f, 17, 34):
    print line

read_only_lines函数基本上是itertools.islice从标准库重新实现的,因此您可以使用它来实现更紧凑的实现:

from itertools import islice
for line in islice(f, 17, 34):
    print line

如果要在列表中而不是在生成器中捕获感兴趣的行,只需将它们转换为列表即可:

from itertools import islice
lines_of_interest = list( islice(f, 17, 34) )

do_something_awesome( lines_of_interest )
do_something_else( lines_of_interest )
微信公众号
手机浏览(小程序)
0
分享到:
没有账号? 忘记密码?