我正在使用SQLite处理一些大文件（数千万条记录，大约10gb）。我喜欢这个python的标准接口。
当我尝试将数百万条记录插入数据库或在某些列上创建索引时，我的计算机内存缓慢地耗尽了。如果我查看普通的系统监视器，则似乎大多数系统内存都是可用的。但是，当我使用top时，似乎几乎没有可用的系统内存。如果我按进程的内存消耗对它们进行排序，那么它们中的任何一个都不占用我的内存的百分之几以上（包括运行sqlite的python进程）。
所有的内存都去哪儿了？为什么top和Ubuntu的系统监视器对我拥有多少系统内存有不同意见？为什么top告诉我我的可用内存很少，但同时不显示正在使用所有内存的进程？
我正在运行Ubuntu 11.04，sqlite3，python 2.7。
参考方案
存储器可以不分配给进程，但是可以是例如。 tmpfs文件系统上的文件（有时是/ dev / shm，有时是/ tmp）。您应该向我们显示top或free的输出（请注意，这些工具没有显示单个“内存使用情况”值），以便让我们进一步了解内存使用情况。
在将记录插入数据库的情况下，它可能是为当前事务创建的临时映像，然后再提交给真实数据库。将插入分为多个单独的事务（如果适用）可能会有所帮助。
我只是猜测，没有足够的数据。
附言看来我看错了原始问题（我认为计算机运行缓慢），并且没有问题。 sehe的答案可能更好。
如何访问页面内的第三方跟踪参数(通过Python)？ - python我已经搜索了很多，到目前为止，还无法确定如何访问页面中的第三方跟踪参数。使用下面的代码，我可以通过python request软件包访问页面的cookie，但是仅对于本地域，不会返回任何第三方的cookie /域：import requests # create session s = requests.session() # read data from …
Python GPU资源利用 - python我有一个Python脚本在某些深度学习模型上运行推理。有什么办法可以找出GPU资源的利用率水平？例如，使用着色器，float16乘法器等。我似乎在网上找不到太多有关这些GPU资源的文档。谢谢！ 参考方案 您可以尝试在像Renderdoc这样的GPU分析器中运行pyxthon应用程序。它将分析您的跑步情况。您将能够获得有关已使用资源，已用缓冲区，不同渲染状态上…
Python:图像处理可产生皱纹纸效果 - python也许很难描述我的问题。我正在寻找Python中的算法，以在带有某些文本的白色图像上创建皱纹纸效果。我的第一个尝试是在带有文字的图像上添加一些真实的皱纹纸图像（具有透明度）。看起来不错，但副作用是文本没有真正起皱。所以我正在寻找更好的解决方案，有什么想法吗？谢谢 参考方案 除了使用透明性之外，假设您有两张相同尺寸的图像，一张在皱纹纸上明亮，一张在白色背景上有深…
Python uuid4，如何限制唯一字符的长度 - python在Python中，我正在使用uuid4（）方法创建唯一的字符集。但是我找不到将其限制为10或8个字符的方法。有什么办法吗？uuid4()ffc69c1b-9d87-4c19-8dac-c09ca857e3fc谢谢。 参考方案 尝试：x = uuid4() str(x)[:8] 输出："ffc69c1b" Is there a way to…
Python sqlite3数据库已锁定 - python我在Windows上使用Python 3和sqlite3。我正在开发一个使用数据库存储联系人的小型应用程序。我注意到，如果应用程序被强制关闭（通过错误或通过任务管理器结束），则会收到sqlite3错误（sqlite3.OperationalError：数据库已锁定）。我想这是因为在应用程序关闭之前，我没有正确关闭数据库连接。我已经试过了： connectio…