Публикации по теме 'airflow'


Как получить максимальную отдачу от динамического сопоставления задач Airflow
Динамическое сопоставление задач (DTM) — это важная функция, которая обеспечивает большую гибкость при создании групп обеспечения доступности баз данных. Однако он не обеспечивает бесконечной гибкости и не освобождает вас от привязанности к шаблонам Airflow. Например, ваши сопоставления задач ограничены типами данных, поддерживаемыми XCom, а именно Python dict и lists. Например, я не нашел способа динамически установить секрет Kubernetes для KubernetesPodOperator . Python позволяет вам..

Вопросы по теме 'airflow'

В чем разница между правилом триггера воздушного потока all_done и all_success?
Одним из требований рабочего процесса, над которым я работаю, является ожидание какого-либо события в течение заданного времени. Если этого не произошло, отметьте задачу как неудачную, но все же последующая задача должна быть выполнена. Мне...
25478 просмотров
schedule 11.06.2024

Почему искры исполнителя не умирают
Вот моя установка: Кластер Kubernetes работает airflow , который отправляет задание spark в кластер Kubernetes, задание выполняется нормально, но контейнер должен умереть после выполнения задания, но они все еще там зависают. Настройка...
171 просмотров

Sql_alchemy_conn в конфигурации воздушного потока
Мне нужно подключиться к удаленной базе данных оракула и вставить несколько строк в таблицу. В настоящее время файл airflow.cfg в моем домашнем каталоге указывает на: sqlite:///home/myuser/airflow.db Может ли кто-нибудь предложить, если это нужно...
312 просмотров
schedule 25.04.2024

Как установить R и блестящий пакет на сервер Ubuntu и опубликовать его на блестящем сервере, не запуская браузер
Я новичок в приложениях R и Shiny, поэтому примите мои извинения, если вопрос покажется немного глупым. Итак, в основном то, что я хочу, — это автоматизировать блестящую панель приложений, которую я в настоящее время запускаю на своем компьютере с...
769 просмотров
schedule 15.05.2024

Смущает параметры Airflow BaseSensorOperator: тайм-аут, poke_interval и режим
Я немного не понимаю, как работают параметры BaseSensorOperator : timeout & poke_interval . Рассмотрим такое использование датчика: BaseSensorOperator( soft_fail=True, poke_interval = 4*60*60, # Poke every 4 hours timeout = 12*60*60, #...
2431 просмотров
schedule 02.05.2024