如何在Python中有效地在多个线程和进程之间共享数据? - python

我有一个从Cmd运行cmd2的主线程。这使我可以使用threading.Thread()以“实时”方式进行仿真来交互式地启动新线程。每步,仿真结果都在put()中。另外,我可以使用multiprocessing.Queue()开始实时绘图。我读到matplotlib.animate不是线程安全的,所以图以matplotlib的形式运行,而multiprocessing.Process()队列中的模拟结果。

不幸的是,一旦从队列中收集了项目,它们就会从队列中删除,并且不可用于其他线程或进程。这意味着我可以将数据从模拟线程发送到绘图过程,但不能在主线程中同时使用模拟结果。

一种解决方案是在每个模拟线程中都有两个队列:一个队列进入主线程,一个队列进入绘图过程。这似乎不是最佳解决方案,而是一个相当复杂的解决方案。

有谁知道如何实现每个线程和进程可以读写的某种线程安全共享变量?

参考方案

通常,有两种在线程和内存之间共享数据的主要方式:

信息传递
共享内存

Python鼓励您避免编写使用共享内存的代码,如果需要在线程和进程之间共享数据,则应仅复制数据并通过队列发送。

如果您需要实际的共享内存,那么这将带来很多危险,因为您必须处理锁来避免问题。此外,对于许多python对象来说,这可能是不可能的,因为进程中的所有python对象都共享一个GIL。

  我读到matplotlib不是线程安全的

不是多线程安全的代码通常也不是多进程安全的。

  有谁知道如何实现每个线程和进程可以读写的某种线程安全共享变量?

您不想,或者如果真的需要,请使用数据库。

Python:如何停止多线程的numpy? - python

我知道这似乎是一个荒谬的问题,但是我必须在与部门中其他人共享的计算服务器上定期运行作业,当我开始10个作业时,我真的希望它只占用10个核心而不是更多;我不在乎每次运行一个内核所需的时间是否更长:我只是不想让它侵犯其他人的领土,这将需要我放弃工作等等。我只想拥有10个核心,仅此而已。更具体地说,我在基于Python 2.7.3和numpy 1.6.1的Redh…

Python GPU资源利用 - python

我有一个Python脚本在某些深度学习模型上运行推理。有什么办法可以找出GPU资源的利用率水平?例如,使用着色器,float16乘法器等。我似乎在网上找不到太多有关这些GPU资源的文档。谢谢! 参考方案 您可以尝试在像Renderdoc这样的GPU分析器中运行pyxthon应用程序。它将分析您的跑步情况。您将能够获得有关已使用资源,已用缓冲区,不同渲染状态上…

Python:图像处理可产生皱纹纸效果 - python

也许很难描述我的问题。我正在寻找Python中的算法,以在带有某些文本的白色图像上创建皱纹纸效果。我的第一个尝试是在带有文字的图像上添加一些真实的皱纹纸图像(具有透明度)。看起来不错,但副作用是文本没有真正起皱。所以我正在寻找更好的解决方案,有什么想法吗?谢谢 参考方案 除了使用透明性之外,假设您有两张相同尺寸的图像,一张在皱纹纸上明亮,一张在白色背景上有深…

Python uuid4,如何限制唯一字符的长度 - python

在Python中,我正在使用uuid4()方法创建唯一的字符集。但是我找不到将其限制为10或8个字符的方法。有什么办法吗?uuid4()ffc69c1b-9d87-4c19-8dac-c09ca857e3fc谢谢。 参考方案 尝试:x = uuid4() str(x)[:8] 输出:"ffc69c1b" Is there a way to…

Python:无法识别Pip命令 - python

这是我拍摄的屏幕截图。当我尝试在命令提示符下使用pip时,出现以下错误消息:pip无法识别为内部或外部命令,可操作程序或批处理文件。我已经检查了这个线程:How do I install pip on Windows?我所能找到的就是我必须将"C:\PythonX\Scripts"添加到我的类路径中,其中X代表python版本。如您在我的…