タグ付けされた質問 「directed-acyclic-graphs」



1
ファイル名の配列に基づいて親DAGから動的サブDAGを作成しようとしています
Airflowを使用して、s3ファイルを「削除しない」バケット(ファイルを削除できないこと)からGCSに移動しようとしています。新しいファイルが毎日存在することは保証できませんが、毎日新しいファイルを確認する必要があります。 私の問題は、サブダグの動的な作成です。ファイルがある場合は、サブダグが必要です。ファイルがない場合、サブダグは必要ありません。私の問題は上流/下流の設定です。私のコードでは、ファイルを検出しますが、想定されているようにサブダグを開始しません。何か不足しています。 これが私のコードです: from airflow import models from airflow.utils.helpers import chain from airflow.providers.amazon.aws.hooks.s3 import S3Hook from airflow.operators.python_operator import PythonOperator, BranchPythonOperator from airflow.operators.dummy_operator import DummyOperator from airflow.operators.subdag_operator import SubDagOperator from airflow.contrib.operators.s3_to_gcs_operator import S3ToGoogleCloudStorageOperator from airflow.utils import dates from airflow.models import Variable import logging args = { 'owner': 'Airflow', 'start_date': dates.days_ago(1), 'email': …

1
PythonでDAGを使用してAWS athenaテーブルで新しいパーティション/データが利用可能な場合にのみAirflowタスクをトリガーする方法
私は以下のようなシーンを持っています: a Task 1をトリガーTask 2し、ソーステーブル(Athena)で新しいデータを利用できる場合のみ。Task1とTask2のトリガーは、新しいデータパーティションが1日に発生したときに発生します。 およびTask 3の完了時にのみトリガーTask 1しますTask 2 Task 4の完了のみをトリガーするTask 3 私のコード from airflow import DAG from airflow.contrib.sensors.aws_glue_catalog_partition_sensor import AwsGlueCatalogPartitionSensor from datetime import datetime, timedelta from airflow.operators.postgres_operator import PostgresOperator from utils import FAILURE_EMAILS yesterday = datetime.combine(datetime.today() - timedelta(1), datetime.min.time()) default_args = { 'owner': 'airflow', 'depends_on_past': False, 'start_date': yesterday, 'email': …
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.