输入文件过大导致内存错误 - python

当我使用以下代码读取文件时：

lines=file("data.txt").read().split("\n")

我有以下错误

MemoryError

文件大小是

ls -l
-rw-r--r-- 1 charlie charlie 1258467201 Sep 26 12:57 data.txt

参考方案

显然，该文件太大，无法一次全部读入内存。

为什么不使用：

with open("data.txt") as myfile:
    for line in myfile:
        do_something(line.rstrip("\n"))

或者，如果您未使用Python 2.6和更高版本，则：

myfile = open("data.txt")
for line in myfile:
    do_something(line.rstrip("\n"))

在这两种情况下，您都将获得一个迭代器，该迭代器可以像对待字符串列表一样对待。

编辑：由于您将整个文件读取为一个大字符串然后在换行符上进行拆分的方式将删除过程中的换行符，因此我在示例中添加了.rstrip("\n")以便更好地模拟结果。

Python uuid4，如何限制唯一字符的长度 - python

在Python中，我正在使用uuid4（）方法创建唯一的字符集。但是我找不到将其限制为10或8个字符的方法。有什么办法吗？uuid4()ffc69c1b-9d87-4c19-8dac-c09ca857e3fc谢谢。 参考方案 尝试：x = uuid4() str(x)[:8] 输出："ffc69c1b" Is there a way to…

Python GPU资源利用 - python

我有一个Python脚本在某些深度学习模型上运行推理。有什么办法可以找出GPU资源的利用率水平？例如，使用着色器，float16乘法器等。我似乎在网上找不到太多有关这些GPU资源的文档。谢谢！ 参考方案 您可以尝试在像Renderdoc这样的GPU分析器中运行pyxthon应用程序。它将分析您的跑步情况。您将能够获得有关已使用资源，已用缓冲区，不同渲染状态上…

Python:图像处理可产生皱纹纸效果 - python

也许很难描述我的问题。我正在寻找Python中的算法，以在带有某些文本的白色图像上创建皱纹纸效果。我的第一个尝试是在带有文字的图像上添加一些真实的皱纹纸图像（具有透明度）。看起来不错，但副作用是文本没有真正起皱。所以我正在寻找更好的解决方案，有什么想法吗？谢谢 参考方案 除了使用透明性之外，假设您有两张相同尺寸的图像，一张在皱纹纸上明亮，一张在白色背景上有深…

Python-crontab模块 - python

我正在尝试在Linux OS（CentOS 7）上使用Python-crontab模块我的配置文件如下：{ "ossConfigurationData": { "work1": [ { "cronInterval": "0 0 0 1 1 ?", "attribute&…

Python:检查是否存在维基百科文章 - python

我试图弄清楚如何检查Wikipedia文章是否存在。例如，https://en.wikipedia.org/wiki/Food 存在，但是https://en.wikipedia.org/wiki/Fod 不会，页面只是说：“维基百科没有此名称的文章。”谢谢！ 参考方案 >>> import urllib >>> prin…