如何增加cpu核心的数量及其在python中的用法 - python

我已经编写了一个Python脚本,具有很高的计算成本。在远程Linux服务器(通过腻子)上运行代码后,需要一周的时间才能完成。

我们的远程服务器具有32个CPU内核和64 GB的Ram内存。我需要通过使用更多数量的cpu核心在较短的时间内运行脚本,但是我不知道如何为脚本使用更多数量的cpu核心来增加脚本。

我想知道是否在我的python脚本的第一部分或结尾部分添加了任何python代码,以增加cpu核心的数量,内存使用率等,以便能够在更短的时间内运行该脚本。获取脚本结果后,我还需要返回默认状态。

有什么方法可以在Python中实现吗?

参考方案

您可以看一下多处理库(https://docs.python.org/2/library/multiprocessing.html),但必须管理数据才能在进程之间共享。

您还可以看一下线程库(https://docs.python.org/2/library/threading.html),如果您有很多I / O,这可能会很有效。

最后,您使用asyncio lib(python 3.4+ https://docs.python.org/3/library/asyncio.html),在我看来,它实现起来较为复杂,但具有显式管理代码行为的能力。

编辑:这是一个很大的问题,您可能会找到很多关于此问题的文档。这实际上取决于您的代码的实际功能,您最好提供一段代码。

Python GPU资源利用 - python

我有一个Python脚本在某些深度学习模型上运行推理。有什么办法可以找出GPU资源的利用率水平?例如,使用着色器,float16乘法器等。我似乎在网上找不到太多有关这些GPU资源的文档。谢谢! 参考方案 您可以尝试在像Renderdoc这样的GPU分析器中运行pyxthon应用程序。它将分析您的跑步情况。您将能够获得有关已使用资源,已用缓冲区,不同渲染状态上…

Python uuid4,如何限制唯一字符的长度 - python

在Python中,我正在使用uuid4()方法创建唯一的字符集。但是我找不到将其限制为10或8个字符的方法。有什么办法吗?uuid4()ffc69c1b-9d87-4c19-8dac-c09ca857e3fc谢谢。 参考方案 尝试:x = uuid4() str(x)[:8] 输出:"ffc69c1b" Is there a way to…

Python sqlite3数据库已锁定 - python

我在Windows上使用Python 3和sqlite3。我正在开发一个使用数据库存储联系人的小型应用程序。我注意到,如果应用程序被强制关闭(通过错误或通过任务管理器结束),则会收到sqlite3错误(sqlite3.OperationalError:数据库已锁定)。我想这是因为在应用程序关闭之前,我没有正确关闭数据库连接。我已经试过了: connectio…

python:ConfigParser对象,然后再阅读一次 - python

场景:我有一个配置文件,其中包含要执行的自动化测试的列表。这些测试是长期循环执行的。   配置文件的设计方式使ConfigParser可以读取它。由于有两个三个参数,因此我需要通过每个测试。现在,此配置文件由script(s1)调用,并且按照配置文件中的列表执行测试。Script(s1)第一次读取配置,并且在每次测试完成后都会执行。阅读两次的要求:由于可能会…

Python exchangelib在子文件夹中读取邮件 - python

我想从Outlook邮箱的子文件夹中读取邮件。Inbox ├──myfolder 我可以使用account.inbox.all()阅读收件箱,但我想阅读myfolder中的邮件我尝试了此页面folder部分中的内容,但无法正确完成https://pypi.python.org/pypi/exchangelib/ 参考方案 您需要首先掌握Folder的myfo…