标签：slurm
-
用python多重处理超过了工作内存限制 - python
我正在使用Slurm来管理一些计算，但是有时作业会因内存不足错误而被杀死，即使事实并非如此。这个奇怪的问题特别是使用多处理的python作业。 这是重现此行为的最小示例 #!/usr/bin/python from time import sleep nmem = int(3e7) # this will amount to ~1GB of numbers […]
-
登录节点如何与Slurm群集中的计算节点通信？ - python
我只是开始使用随Slurm Workload Manager运行的计算集群。我对计算节点在计算时如何与登录节点通信感到好奇，因为要运行的脚本与该脚本可能读取的其他文件一起存储在登录节点中。 例如，在工作词典中，浮点列表以可以用pickle加载的格式存储。我希望在计算节点上运行的脚本如下所示： import pickle with open('dat […]
-
如何立即将所有Snakemake作业提交到Slurm Cluster - python
我正在使用snakemake构建可在SLURM群集上运行的变体调用管道。集群具有登录节点和计算节点。任何真正的计算都应以srun或sbatch作业的形式在计算节点上完成。作业最多只能运行48小时。我的问题是，处理许多样本（尤其是在队列繁忙时）将花费48小时以上的时间来处理每个样本的所有规则。传统的snakemake群集执行使主线程运行，该主线程仅在所有规则的 […]
-
Python:集群作业管理 - python
我在具有两个阶段的计算群集（Slurm）上运行python脚本，它们是顺序的。我编写了两个python脚本，一个用于阶段1，另一个用于阶段2。每天早上，我检查所有第1阶段的工作是否都以视觉方式完成。只有这样，我才开始第二阶段。 通过在单个python脚本中组合所有阶段和作业管理，是否有一种更优雅/自动化的方法？我如何知道工作是否完成？ 工作流程类似于以下内容 […]