标签:airflow

  • 气流-Python文件不在同一DAG文件夹中 - python

    时间:2020-8-29

    我正在尝试使用Airflow执行一个简单的任务python。 from __future__ import print_function from airflow.operators.python_operator import PythonOperator from airflow.models import DAG from datetime impor […]

  • 如何限制Airflow仅一次运行DAG的一个实例? - python

    时间:2020-8-8

    我希望DAG中的所有任务在下一次运行的第一个任务执行之前全部完成。 我的max_active_runs = 1,但是this仍然会发生。 default_args = { 'depends_on_past': True, 'wait_for_downstream': True, 'max_active_run […]

  • 将运算符的结果保存在Apache Airflow中 - python

    时间:2020-8-1

    几个运算符允许提取数据,但我从未设法使用结果。 例如:https://github.com/apache/incubator-airflow/blob/master/airflow/contrib/operators/bigquery_get_data.py 可以将该操作符称为: get_data = BigQueryGetDataOperator( tas […]

  • 通过气流docker容器执行Windows python脚本 - python

    时间:2020-7-30

    我在Windows上工作,通过Docker设置了Airflow。我在Windows中有许多python脚本,可以从Windows中的多个位置(SSH连接,Windows文件夹等)进行读写。将所有这些输入复制到我的docker映像中将需要很多工作,因此我要做的就是让Airflow像在Windows中一样运行这些脚本。 如果可能的话,这可能吗? 这是我作为DAG […]

  • 对PythonOperator的运行时配置 - python

    时间:2020-7-13

    我找不到任何有关如何使用通过“ -c”传递的JSON变量的有效文档,例如补余工作。 我一直在打印我的python任务** kwargs来查找,但是我仍然无法确定。 Provide_context =真 谁能指出我正确的方向? 所以,我想做的是: airflow backfill mydag -c '{"override":� […]