1
PythonでDAGを使用してAWS athenaテーブルで新しいパーティション/データが利用可能な場合にのみAirflowタスクをトリガーする方法
私は以下のようなシーンを持っています： a Task 1をトリガーTask 2し、ソーステーブル（Athena）で新しいデータを利用できる場合のみ。Task1とTask2のトリガーは、新しいデータパーティションが1日に発生したときに発生します。 およびTask 3の完了時にのみトリガーTask 1しますTask 2 Task 4の完了のみをトリガーするTask 3 私のコード from airflow import DAG from airflow.contrib.sensors.aws_glue_catalog_partition_sensor import AwsGlueCatalogPartitionSensor from datetime import datetime, timedelta from airflow.operators.postgres_operator import PostgresOperator from utils import FAILURE_EMAILS yesterday = datetime.combine(datetime.today() - timedelta(1), datetime.min.time()) default_args = { 'owner': 'airflow', 'depends_on_past': False, 'start_date': yesterday, 'email': …