目录漫游而不是os.listdir的更快方法? - python

我正在尝试提高elfinder的性能,elfinder是一个基于ajax的文件管理器(elRTE.ru)。

它在递归过程中使用os.listdir递归地遍历所有目录,并且对性能产生影响(例如列出包含3000多个文件的dir需要7秒)。

我正在尝试改善其性能,这是它的行走功能:

        for d in os.listdir(path):
            pd = os.path.join(path, d)
            if os.path.isdir(pd) and not os.path.islink(pd) and self.__isAccepted(d):
                tree['dirs'].append(self.__tree(pd))

我的问题是:

  • 如果我更改os.walk而不是os.listdir,它将提高性能吗?
  • 如何使用dircache.listdir()?如果没有上载新文件或文件没有更改,则在初始请求时缓存整个目录/子目录的内容并返回缓存结果。
  • 是否有其他更快的目录遍历方法?
  • 是否有其他用python快速编写的服务器端文件浏览器(但我更喜欢快速创建该文件)?
  • 参考方案

    我只是想弄清楚如何在一个大型文件系统上加速os.walk(350,000个文件分布在大约50,000个目录中)。我在使用ext3文件系统的Linux机器上。我发现有一种方法可以加快我的情况。

    具体来说,使用自上而下的遍历,只要os.walk返回一个以上目录的列表,我就使用os.stat来获取每个目录的inode编号,并按inode编号对目录列表进行排序。这使得walk大部分以inode顺序访问子目录,从而减少了磁盘查找。

    对于我的用例,它加快了我的完整目录浏览时间,从18分钟缩短到13分钟...

    Python GPU资源利用 - python

    我有一个Python脚本在某些深度学习模型上运行推理。有什么办法可以找出GPU资源的利用率水平?例如,使用着色器,float16乘法器等。我似乎在网上找不到太多有关这些GPU资源的文档。谢谢! 参考方案 您可以尝试在像Renderdoc这样的GPU分析器中运行pyxthon应用程序。它将分析您的跑步情况。您将能够获得有关已使用资源,已用缓冲区,不同渲染状态上…

    Python:图像处理可产生皱纹纸效果 - python

    也许很难描述我的问题。我正在寻找Python中的算法,以在带有某些文本的白色图像上创建皱纹纸效果。我的第一个尝试是在带有文字的图像上添加一些真实的皱纹纸图像(具有透明度)。看起来不错,但副作用是文本没有真正起皱。所以我正在寻找更好的解决方案,有什么想法吗?谢谢 参考方案 除了使用透明性之外,假设您有两张相同尺寸的图像,一张在皱纹纸上明亮,一张在白色背景上有深…

    Python uuid4,如何限制唯一字符的长度 - python

    在Python中,我正在使用uuid4()方法创建唯一的字符集。但是我找不到将其限制为10或8个字符的方法。有什么办法吗?uuid4()ffc69c1b-9d87-4c19-8dac-c09ca857e3fc谢谢。 参考方案 尝试:x = uuid4() str(x)[:8] 输出:"ffc69c1b" Is there a way to…

    Python sqlite3数据库已锁定 - python

    我在Windows上使用Python 3和sqlite3。我正在开发一个使用数据库存储联系人的小型应用程序。我注意到,如果应用程序被强制关闭(通过错误或通过任务管理器结束),则会收到sqlite3错误(sqlite3.OperationalError:数据库已锁定)。我想这是因为在应用程序关闭之前,我没有正确关闭数据库连接。我已经试过了: connectio…

    Python:如何停止多线程的numpy? - python

    我知道这似乎是一个荒谬的问题,但是我必须在与部门中其他人共享的计算服务器上定期运行作业,当我开始10个作业时,我真的希望它只占用10个核心而不是更多;我不在乎每次运行一个内核所需的时间是否更长:我只是不想让它侵犯其他人的领土,这将需要我放弃工作等等。我只想拥有10个核心,仅此而已。更具体地说,我在基于Python 2.7.3和numpy 1.6.1的Redh…