Вопросы с тегом «directed-acyclic-graphs»

109
Может ли кто-нибудь объяснить мне простым языком, что такое ориентированный ациклический граф?

Может ли кто-нибудь объяснить мне простым языком, что такое ориентированный ациклический граф? Я заглянул в Википедию, но на самом деле я не вижу ее использования в...

10
Попытка создать динамический subdags из родительского dag на основе массива имен файлов

Я пытаюсь переместить файлы s3 из «не удаляющего» контейнера (то есть я не могу удалить файлы) в GCS, используя поток воздуха. Я не могу гарантировать, что новые файлы будут там каждый день, но я должен проверять новые файлы каждый день. Моя проблема заключается в динамическом создании subdags....

9
Как вызвать задачу Airflow, только когда новый раздел / данные доступны в таблице athena AWS с использованием DAG в python?

У меня есть scenerio как ниже: Триггер а Task 1и Task 2только тогда, когда для них доступны новые данные в исходной таблице (Афина). Триггер для Task1 и Task2 должен произойти при новом разделении данных за день. Триггер Task 3только по завершении Task 1иTask 2 Запустить Task 4только завершениеTask...