Airflow 重跑dag中部分失败的任务
2024-10-13 00:33:17
重跑dag中部分失败的任务
例如 dagA 中, T1 >> T2 >> T3 >> T4 >> T5 ,其中 T1 T2 成功, T3 失败, T4 T5因为依赖 T3,也不会运行。
跳过 T1 T2 重跑 T3 T4 T5 的方法是:
(1)点击 T3 clear ,默认会clear T4 T5 的状态
(2)返回到上一级,点击 dagA 名字,点击 Recursive 和 Downstream (airflow的界面,看不出来到底有没有选择,反正各点一次, Uncheck ),然后点击 run
这方法只对 subdag 有用
还有就是airflow1.8 1.9 中,如果使用 subdag ,那么 pool 中设置的 slot 是无效的,算是一个 airflow 的bug
airflow1.10 中,没有去修复这个bug,而是在subdag 默认是使用 顺序(串行)执行, 非并行方式执行。如果一定要并行,
需要自己指定为CeleryOperator
最新文章
- str.format
- table 细边框
- Visual Studio 2013 编译CEF步骤
- 滴滴DSRC抢楼大赛,十一快车券飞起来
- EF+MVC+cod First项目性能优化总结
- PLSQL_数据泵导入进度查看Impdp/Expdp Status(案例)
- MySQL基础之第10章 查询数据
- hdu_5748_Bellovin(LIS)
- HDU 3374 String Problem (KMP+最大最小表示)
- TimerTask实现定期检查数据库操作
- this的取值
- Qt License 解读
- Material Design 开源项目总结
- LODOP设置打印机不存在不打印
- 机器学习算法_knn(福利)
- 【强化学习】python 实现 q-learning 迷宫通用模板
- java垃圾回收诡异现象
- 设置帝国cms文章标题 真正符合百度建站标准
- windows一键配置 php mysql apache 记录
- How to add hyperlink in JLabel