Публикации по теме 'airflow'
Как получить максимальную отдачу от динамического сопоставления задач Airflow
Динамическое сопоставление задач (DTM) — это важная функция, которая обеспечивает большую гибкость при создании групп обеспечения доступности баз данных. Однако он не обеспечивает бесконечной гибкости и не освобождает вас от привязанности к шаблонам Airflow. Например, ваши сопоставления задач ограничены типами данных, поддерживаемыми XCom, а именно Python dict и lists. Например, я не нашел способа динамически установить секрет Kubernetes для KubernetesPodOperator .
Python позволяет вам..
Вопросы по теме 'airflow'
В чем разница между правилом триггера воздушного потока all_done и all_success?
Одним из требований рабочего процесса, над которым я работаю, является ожидание какого-либо события в течение заданного времени. Если этого не произошло, отметьте задачу как неудачную, но все же последующая задача должна быть выполнена.
Мне...
25478 просмотров
schedule
11.06.2024
Почему искры исполнителя не умирают
Вот моя установка:
Кластер Kubernetes работает airflow , который отправляет задание spark в кластер Kubernetes, задание выполняется нормально, но контейнер должен умереть после выполнения задания, но они все еще там зависают.
Настройка...
171 просмотров
schedule
01.06.2024
Sql_alchemy_conn в конфигурации воздушного потока
Мне нужно подключиться к удаленной базе данных оракула и вставить несколько строк в таблицу. В настоящее время файл airflow.cfg в моем домашнем каталоге указывает на: sqlite:///home/myuser/airflow.db
Может ли кто-нибудь предложить, если это нужно...
312 просмотров
schedule
25.04.2024
Как установить R и блестящий пакет на сервер Ubuntu и опубликовать его на блестящем сервере, не запуская браузер
Я новичок в приложениях R и Shiny, поэтому примите мои извинения, если вопрос покажется немного глупым. Итак, в основном то, что я хочу, — это автоматизировать блестящую панель приложений, которую я в настоящее время запускаю на своем компьютере с...
769 просмотров
schedule
15.05.2024
Смущает параметры Airflow BaseSensorOperator: тайм-аут, poke_interval и режим
Я немного не понимаю, как работают параметры BaseSensorOperator : timeout & poke_interval . Рассмотрим такое использование датчика:
BaseSensorOperator(
soft_fail=True,
poke_interval = 4*60*60, # Poke every 4 hours
timeout = 12*60*60, #...
2431 просмотров
schedule
02.05.2024