タグ付けされた質問 「airflow」

問題 タスクAが完了するまでタスクB. *の数が不明になるようなワークフローをAirflowで作成する方法はありますか？サブダグを確認しましたが、ダグの作成時に決定する必要がある一連の静的タスクでしか機能しないようです。 ダグトリガーは機能しますか？もしそうなら、あなたは例を提供してください。 タスクAが完了するまで、タスクCを計算するために必要なタスクBの数を知ることができないという問題があります。各タスクB. *の計算には数時間かかり、組み合わせることはできません。 |---> Task B.1 --| |---> Task B.2 --| Task A ------|---> Task B.3 --|-----> Task C | .... | |---> Task B.N --| アイデア＃1 ブロッキングExternalTask​​Sensorを作成する必要があり、すべてのタスクB. *が完了するまでに2〜24時間かかるため、このソリューションは好きではありません。だから私はこれを実行可能な解決策とは考えていません。確かにもっと簡単な方法がありますか？または、Airflowはこのために設計されていませんでしたか？ Dag 1 Task A -> TriggerDagRunOperator(Dag 2) -> ExternalTaskSensor(Dag 2, Task Dummy B) -> Task C Dag 2 …

96 python  workflow  airflow 

を使用して新規インストールした後、pip install apache-airflowairflowを実行しようとすると、Pythonインポートエラーで終了します。 Traceback (most recent call last): File "/Users/\*/env/bin/airflow", line 26, in <module> from airflow.bin.cli import CLIFactory File "/Users/\*/env/lib/python3.7/site-packages/airflow/bin/cli.py", line 70, in <module> from airflow.www.app import (cached_app, create_app) File "/Users/\*/env/lib/python3.7/site-packages/airflow/www/app.py", line 26, in <module> from flask_wtf.csrf import CSRFProtect File "/Users/\*/env/lib/python3.7/site-packages/flask_wtf/__init__.py", line 17, in <module> from .recaptcha import \* File …

19 python  flask  airflow  werkzeug 

インストールは正しく行われました。dbが適切に開始され、Webサーバーを起動しようとすると、次のエラーが表示されます。 すべてを再インストールしましたが、まだ機能しません。 誰かが私を助けてくれれば感謝します。 コンソール出力： $:~/airflow# airflow webserver -p 8080 ____________ _____________ ____ |__( )_________ __/__ /________ __ ____ /| |_ /__ ___/_ /_ __ /_ __ \_ | /| / / ___ ___ | / _ / _ __/ _ / / /_/ /_ |/ |/ / _/_/ |_/_/ /_/ …

16 airflow 

閉まっている。この質問は再現性がないか、タイプミスが原因です。現在、回答を受け付けていません。 この質問を改善してみませんか？ Stack Overflowのトピックとなるように質問を更新します。 3か月前に閉鎖。 airflow -versionとairflow initdbを試すとエラーが発生します File "/home/ravi/sandbox/bin/airflow", line 26, in <module> from airflow.bin.cli import CLIFactory File "/home/ravi/sandbox/lib/python3.6/site-packages/airflow/bin/cli.py", line 70, in <module> from airflow.www.app import (cached_app, create_app) File "/home/ravi/sandbox/lib/python3.6/site-packages/airflow/www/app.py", line 37, in <module> from airflow.www.blueprints import routes File "/home/ravi/sandbox/lib/python3.6/site-packages/airflow/www/blueprints.py", line 25, in <module> from airflow.www import utils as …

12 python  airflow 

私はhttps://github.com/helm/charts/tree/master/stable/airflow helm chart を使用 puckle/docker-airflowして、kubernetesがインストールされたv1.10.8 イメージをビルドし、そのイメージをhelmチャートで使用していますが、 File "/usr/local/bin/airflow", line 37, in <module> args.func(args) File "/usr/local/lib/python3.7/site-packages/airflow/bin/cli.py", line 1140, in initdb db.initdb(settings.RBAC) File "/usr/local/lib/python3.7/site-packages/airflow/utils/db.py", line 332, in initdb dagbag = models.DagBag() File "/usr/local/lib/python3.7/site-packages/airflow/models/dagbag.py", line 95, in __init__ executor = get_default_executor() File "/usr/local/lib/python3.7/site-packages/airflow/executors/__init__.py", line 48, in get_default_executor DEFAULT_EXECUTOR = _get_executor(executor_name) File "/usr/local/lib/python3.7/site-packages/airflow/executors/__init__.py", line …

12 kubernetes  airflow  kubernetes-helm  airflow-scheduler 

Airflowを使用して、s3ファイルを「削除しない」バケット（ファイルを削除できないこと）からGCSに移動しようとしています。新しいファイルが毎日存在することは保証できませんが、毎日新しいファイルを確認する必要があります。 私の問題は、サブダグの動的な作成です。ファイルがある場合は、サブダグが必要です。ファイルがない場合、サブダグは必要ありません。私の問題は上流/下流の設定です。私のコードでは、ファイルを検出しますが、想定されているようにサブダグを開始しません。何か不足しています。 これが私のコードです： from airflow import models from airflow.utils.helpers import chain from airflow.providers.amazon.aws.hooks.s3 import S3Hook from airflow.operators.python_operator import PythonOperator, BranchPythonOperator from airflow.operators.dummy_operator import DummyOperator from airflow.operators.subdag_operator import SubDagOperator from airflow.contrib.operators.s3_to_gcs_operator import S3ToGoogleCloudStorageOperator from airflow.utils import dates from airflow.models import Variable import logging args = { 'owner': 'Airflow', 'start_date': dates.days_ago(1), 'email': …

10 python  airflow  directed-acyclic-graphs 

私は以下のようなシーンを持っています： a Task 1をトリガーTask 2し、ソーステーブル（Athena）で新しいデータを利用できる場合のみ。Task1とTask2のトリガーは、新しいデータパーティションが1日に発生したときに発生します。 およびTask 3の完了時にのみトリガーTask 1しますTask 2 Task 4の完了のみをトリガーするTask 3 私のコード from airflow import DAG from airflow.contrib.sensors.aws_glue_catalog_partition_sensor import AwsGlueCatalogPartitionSensor from datetime import datetime, timedelta from airflow.operators.postgres_operator import PostgresOperator from utils import FAILURE_EMAILS yesterday = datetime.combine(datetime.today() - timedelta(1), datetime.min.time()) default_args = { 'owner': 'airflow', 'depends_on_past': False, 'start_date': yesterday, 'email': …

9 python  airflow  amazon-athena  directed-acyclic-graphs  airflow-scheduler