如何使Luigi任务自行关闭？ - python

我们有一个Luigi任务，该任务从凌晨2点开始，可以运行任意小时。我们要确保，如果未在上午6点之前完成，则会自行关闭。有什么办法吗？该任务在Mesos上运行，所以我知道我可以运行一个单独的任务或脚本来使用Mesos执行程序HTTP API并杀死它，但是有没有办法对任务本身进行编码以在给定时间关闭？

提前致谢。

参考方案

为您的任务使用自定义超时。根据docs，您可以将其设置为luigi级别或每个任务：

  [工人]
  
  暂停：
  
  杀死运行时间过长的任务的秒数。这为所有任务提供了默认值，可以通过在任何任务中设置worker-timeout属性来覆盖默认值。这仅在使用多个工作程序时有效，因为超时是通过终止工作程序子进程来实现的。默认值为0，表示没有超时。

因此，您的任务应如下所示：

class MyTask(luigi.Task):
    worker_timeout = 60 * 60 * 4 # 4 hours in seconds

    # (rest of your task)
    # def run():
    #    do_something()

Python sqlite3数据库已锁定 - python

我在Windows上使用Python 3和sqlite3。我正在开发一个使用数据库存储联系人的小型应用程序。我注意到，如果应用程序被强制关闭（通过错误或通过任务管理器结束），则会收到sqlite3错误（sqlite3.OperationalError：数据库已锁定）。我想这是因为在应用程序关闭之前，我没有正确关闭数据库连接。我已经试过了： connectio…

python-docx应该在空单元格已满时返回空单元格 - python

我试图遍历文档中的所有表并从中提取文本。作为中间步骤，我只是尝试将文本打印到控制台。我在类似的帖子中已经看过scanny提供的其他代码，但是由于某种原因，它并没有提供我正在解析的文档的预期输出可以在https://www.ontario.ca/laws/regulation/140300中找到该文档from docx import Document from…

Python:集群作业管理 - python

我在具有两个阶段的计算群集（Slurm）上运行python脚本，它们是顺序的。我编写了两个python脚本，一个用于阶段1，另一个用于阶段2。每天早上，我检查所有第1阶段的工作是否都以视觉方式完成。只有这样，我才开始第二阶段。通过在单个python脚本中组合所有阶段和作业管理，是否有一种更优雅/自动化的方法？我如何知道工作是否完成？工作流程类似于以下内容：w…

Python-Excel导出 - python

我有以下代码：import pandas as pd import requests from bs4 import BeautifulSoup res = requests.get("https://www.bankier.pl/gielda/notowania/akcje") soup = BeautifulSoup(res.cont…

Python:传递记录器是个好主意吗？ - python

我的Web服务器的API日志如下：started started succeeded failed 那是同时收到的两个请求。很难说哪一个成功或失败。为了彼此分离请求，我为每个请求创建了一个随机数，并将其用作记录器的名称logger = logging.getLogger(random_number) 日志变成[111] started [222] start…