剖析后的下一步是什么? - python

作为大型纯Python应用程序的一部分,我为pypars开发了一个庞大的语法。
我已经达到了性能调整的极限,并且我正处在收益递减的阶段,这使我开始寻找其他地方。是的,我想我知道大多数技巧和窍门,并且我已经概述了我的语法和对灰尘的应用。

接下来是什么?

我希望找到一个解析器,使我具有相同的可读性,可用性(我正在使用pyparsing的许多高级功能,例如parse-actions来启动要解析的输入的后处理)和python集成,但为10x性能

我喜欢语法是纯Python的事实。

我所有的基本块都是正则表达式,因此重用它们会很好。

我知道我不能拥有所有东西,所以我愿意放弃我今天拥有的一些功能,以达到要求的10倍性能。

我从这里去哪里?

参考方案

看起来好客的人们已经预料到了您的问题。从https://github.com/pyparsing/pyparsing/blob/master/HowToUsePyparsing.rst:

对于复杂的语法和/或较大的输入字符串,pyparsing的性能可能很慢。 psyco包可用于提高pyparsing模块的速度,而无需更改语法或程序逻辑-观察到的改进范围为20-50%。

但是,正如Vangel在下面的注释中指出的那样,从2012年3月开始,psyco是一个过时的项目。PyPy项目是ojit_a项目,它从相同的基本性能开始:使用JIT本机代码编译器而不是字节码解释器。如果切换Python实现对您来说有效,那么您应该可以使用PyPy获得类似或更大的收益。

如果您确实是一个速度恶魔,但想保留一些易读性和声明性语法,我建议您看一下ANTLR。可能不是生成Python的后端;我怀疑这是成熟的还是高性能的,足以满足您的需求。我说的是商品:始于一切的C后端。

将Python C扩展模块包装到解析器的入口处,然后将其松开。

话虽如此,您将在此过渡中放弃很多:基本上,您要在解析器中使用的所有Python都必须通过C API来完成(不是很漂亮)。另外,您必须习惯非常不同的做事方式。 ANTLR具有它的魅力,但是它不是基于组合器的,因此在语法分析和您的语言之间没有像pyparsing这样简单而流畅的关系。另外,它是自己的DSL,就像lex / yacc一样,可以呈现学习曲线-但是,由于它基于LL,因此您可能会发现它更容易适应您的需求。

Python GPU资源利用 - python

我有一个Python脚本在某些深度学习模型上运行推理。有什么办法可以找出GPU资源的利用率水平?例如,使用着色器,float16乘法器等。我似乎在网上找不到太多有关这些GPU资源的文档。谢谢! 参考方案 您可以尝试在像Renderdoc这样的GPU分析器中运行pyxthon应用程序。它将分析您的跑步情况。您将能够获得有关已使用资源,已用缓冲区,不同渲染状态上…

Python:图像处理可产生皱纹纸效果 - python

也许很难描述我的问题。我正在寻找Python中的算法,以在带有某些文本的白色图像上创建皱纹纸效果。我的第一个尝试是在带有文字的图像上添加一些真实的皱纹纸图像(具有透明度)。看起来不错,但副作用是文本没有真正起皱。所以我正在寻找更好的解决方案,有什么想法吗?谢谢 参考方案 除了使用透明性之外,假设您有两张相同尺寸的图像,一张在皱纹纸上明亮,一张在白色背景上有深…

Python uuid4,如何限制唯一字符的长度 - python

在Python中,我正在使用uuid4()方法创建唯一的字符集。但是我找不到将其限制为10或8个字符的方法。有什么办法吗?uuid4()ffc69c1b-9d87-4c19-8dac-c09ca857e3fc谢谢。 参考方案 尝试:x = uuid4() str(x)[:8] 输出:"ffc69c1b" Is there a way to…

Python sqlite3数据库已锁定 - python

我在Windows上使用Python 3和sqlite3。我正在开发一个使用数据库存储联系人的小型应用程序。我注意到,如果应用程序被强制关闭(通过错误或通过任务管理器结束),则会收到sqlite3错误(sqlite3.OperationalError:数据库已锁定)。我想这是因为在应用程序关闭之前,我没有正确关闭数据库连接。我已经试过了: connectio…

python:ConfigParser对象,然后再阅读一次 - python

场景:我有一个配置文件,其中包含要执行的自动化测试的列表。这些测试是长期循环执行的。   配置文件的设计方式使ConfigParser可以读取它。由于有两个三个参数,因此我需要通过每个测试。现在,此配置文件由script(s1)调用,并且按照配置文件中的列表执行测试。Script(s1)第一次读取配置,并且在每次测试完成后都会执行。阅读两次的要求:由于可能会…