可以通过两种方法利用python读取大文件：第一种是利用yield生成器读取；第二种是：利用open()自带方法生成迭代对象，这个是一行一行的读取。

1、利用yield生成器读取

def readPart(filePath, size=1024, encoding="utf-8"):
    with open(filePath,"r",encoding=encoding) as f:
        while True:
            part = f.read(size)  
            if part:
                yield part
            else:
                return None
filePath = r"filePath"
size = 2048 # 每次读取指定大小的内容到内存
encoding = 'utf-8'
for part in readPart(filePath,size,encoding):
    print(part)
    # Processing data

2、利用open()自带方法生成迭代对象，这个是一行一行的读取

with open(filePath) as f:
    for line in f:
        print(line)
        # Processing data

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。

猜你喜欢

• Python中怎么进行批量压缩图片，方法是什么

  对于图片强行被定义高和宽会变形,我们希望图片被改变大小后,比例保持不变,完成对图片的压缩,下面这篇文章主要给大家介绍了关于如何使用python对图片进行批量压缩的相关资料,需要的朋友可以参考下

• Python如何远程控制Windows服务器并操作

  在很多企业会使用闲置的 Windows 机器作为临时服务器，有时候我们想远程调用里面的程序或查看日志文件。本文分享了利用Python远程控制Windows服务器的方法，感兴趣的可以学习一下

• Python和PyQt5怎样实现数据库表的增删改功能

  内容介绍题目描述解题思路/算法分析/问题及解决实验代码运行结果题目描述本次实验为连接数据库的实验，并对数据库进行一些简单的操作，要实现的基本功能如下所示，要能连接并展现数据库里的数据，能够实现插入功能

• python双向链表原理如何理解，代码是什么

  这篇文章主要为大家详细介绍了python实现双向链表原理，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下

• Python如何连接clickhouse，有哪些方式

  这篇文章主要介绍了python连接clickhouse数据库的两种方式小结，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教