我正在使用snakemake构建可在SLURM群集上运行的变体调用管道。集群具有登录节点和计算节点。任何真正的计算都应以srun或sbatch作业的形式在计算节点上完成。作业最多只能运行48小时。我的问题是，处理许多样本（尤其是在队列繁忙时）将花费48小时以上的时间来处理每个样本的所有规则。传统的snakemake群集执行使主线程运行，该主线程仅在所有规则的依赖项运行完毕后才将规则提交到队列。我应该在计算节点上运行此主程序，因此这将整个管道的运行时间限制为48小时。
我知道SLURM作业具有依赖项指令，这些指令告诉作业要等到其他作业完成后才能运行。因为snakemake工作流程是DAG，是否可以一次提交所有作业，而每个作业的依赖关系由DAG的规则依赖关系定义？提交所有作业后，主线程将完成，从而绕过了48小时的限制。 snakemake是否可以实现？如果可以，它如何工作？我找到了--immediate-submit命令行选项，但是我不确定这是否具有我要查找的行为以及如何使用该命令，因为在将作业提交到队列后，我的集群会打印Submitted batch job [id]只是工作ID。
参考方案
不幸的是，即时提交无法立即使用，但是需要一些调整才能正常工作。这是因为群集系统之间传递作业之间的依赖关系的方式不同。前一阵子我也遇到了同样的问题。正如立即提交的文档所说：
立即将所有作业提交到集群，而不是等待
当前输入文件。除非您使集群知道，否则这将失败
的工作依赖性，例如通过：$ snakemake –cluster‘sbatch
–dependency {dependencies}。假设您的提交脚本（此处
sbatch）将生成的作业ID输出到第一行stdout，
{dependencies}将使用空格分隔的工作ID填充此工作
依赖于取决于。
因此，问题在于sbatch不会将生成的作业id输出到第一条标准输出行。但是，我们可以使用自己的shell脚本来规避此问题：
parseJobID.sh：
#!/bin/bash
# helper script that parses slurm output for the job ID,
# and feeds it to back to snakemake/slurm for dependencies.
# This is required when you want to use the snakemake --immediate-submit option
if [[ "Submitted batch job" =~ "$@" ]]; then
echo -n ""
else
deplist=$(grep -Eo '[0-9]{1,10}' <<< "$@" | tr '\n' ',' | sed 's/.$//')
echo -n "--dependency=aftercorr:$deplist"
fi;
并确保使用chmod +x parseJobID.sh授予脚本执行权限。
然后我们可以像这样调用立即提交：
snakemake --cluster 'sbatch $(./parseJobID.sh {dependencies})' --jobs 100 --notemp --immediate-submit
请注意，这将同时提交最多100个工作。您可以将其增加或减少到任意数量，但是要知道，大多数群集系统不允许每个用户同时执行1000个以上的作业。
Python:集群作业管理 - python我在具有两个阶段的计算群集（Slurm）上运行python脚本，它们是顺序的。我编写了两个python脚本，一个用于阶段1，另一个用于阶段2。每天早上，我检查所有第1阶段的工作是否都以视觉方式完成。只有这样，我才开始第二阶段。通过在单个python脚本中组合所有阶段和作业管理，是否有一种更优雅/自动化的方法？我如何知道工作是否完成？工作流程类似于以下内容：w…
Python sqlite3数据库已锁定 - python我在Windows上使用Python 3和sqlite3。我正在开发一个使用数据库存储联系人的小型应用程序。我注意到，如果应用程序被强制关闭（通过错误或通过任务管理器结束），则会收到sqlite3错误（sqlite3.OperationalError：数据库已锁定）。我想这是因为在应用程序关闭之前，我没有正确关闭数据库连接。我已经试过了： connectio…
Python-Excel导出 - python我有以下代码：import pandas as pd import requests from bs4 import BeautifulSoup res = requests.get("https://www.bankier.pl/gielda/notowania/akcje") soup = BeautifulSoup(res.cont…
Python:传递记录器是个好主意吗？ - python我的Web服务器的API日志如下：started started succeeded failed 那是同时收到的两个请求。很难说哪一个成功或失败。为了彼此分离请求，我为每个请求创建了一个随机数，并将其用作记录器的名称logger = logging.getLogger(random_number) 日志变成[111] started [222] start…
Python pytz时区函数返回的时区为9分钟 - python由于某些原因，我无法从以下代码中找出原因：>>> from pytz import timezone >>> timezone('America/Chicago') 我得到：<DstTzInfo 'America/Chicago' LMT-1 day, 18:09:00 STD…