在这个金灿灿的收获季节,经过 Apache DolphinScheduler PPMC 们的推荐和投票,Apache DolphinScheduler 收获了 5 位新Committer 。他们是:nauu(朱凯)、Rubik-W(温合民)、gabrywu、liwenhe1993、clay4444。对于成为 Committer ,小伙伴们说道:

朱凯:

非常荣幸能够成为DolphinSchedule 的 Committer。这既是一份喜悦,也是一份责任。我将以终为始,继续打怪升级,助力 DS 早日毕业。

温合民:

很荣幸成为DS Committer团队的一员。通过技术调研了解到DS,最终选型决定引入DS,高效的社区支持使项目最终顺利落地。DS是我参与开源的第一个项目,深受益于开源,同时也想为开源做一些力所能及的贡献,希望未来能更多的为DS添砖加瓦,愿DS顺利毕业。

社区介绍:

Apache DolphinScheduler 是一个非常多样化的社区,至今贡献者已近100名, 他们分别来自 30 多家不同的公司。 微信群用户3000人。

Apache DolphinScheduler 部分用户案例(排名不分先后)

已经有300多家企业和科研机构在使用DolphinScheduler,来处理各类调度和定时任务,另有近500家公司开通了海豚调度的试用:

Apache DolphinScheduler 是什么

Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。

Apache DolphinScheduler项目起源 - 需求决定

Apache DolphinScheduler四大特性

Apache DolphinScheduler 能力:

  • 以DAG图的方式将Task按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态

  • 支持丰富的任务类型:Shell、MR、Spark、Flink、SQL(mysql、postgresql、hive、sparksql)、Python、Http、Sub_Process、Procedure等

  • 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作

  • 支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败

  • 支持工作流全局参数及节点自定义参数设置

  • 支持资源文件的在线上传/下载,管理等,支持在线文件创建、编辑

  • 支持任务日志在线查看及滚动、在线下载日志等

  • 实现集群HA,通过Zookeeper实现Master集群和Worker集群去中心化

  • 支持对Master/Worker cpu load,memory,cpu在线查看

  • 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计

  • 支持补数

  • 支持多租户

  • 支持国际化

Apache DolphinScheduler 1.3.0 新特性

  • Worker实现重构,提升Worker性能

    • Master和Worker引入Netty通信

    • 去zookeeper任务队列

    • Worker节点的三种选择:随机、循环和CPU和内存的线性加权负载平衡

    • Worker去数据库操作

  • 资源中心支持多目录

  • 添加 if/else 条件任务

  • 添加 sqoop/datax 任务

  • 支持 windows 开发和部署

  • 支持 k8s 部署

  • 添加DAG流程图一键格式化

  • 流程图美化

  • 支持 ambari 插件安装

  • 批量导出和导入工作流

  • 流程定义支持复制

  • 添加钉钉告警

  • 大幅简化配置项,简化部署

Apache DolphinScheduler Roadmap

总体依照社区需求和关注度来安排功能优先

  • master 重构:建立 api 和 master 通信等

  • 任务参数传递

  • 任务类型插件化Plugin

  • 工作流触发

  • 数据质量

  • 工作流血缘关系

  • 列表依赖(上游依赖)

  • 告警服务化

  • 权限改造

  • 支持多集群上线发布

  • 工作流版本管理

  • Easy to use

系统部分截图

在线DEMO试用

http://106.75.43.194:8888/

DolphinScheduler Slogan

加入 Apache DolphinScheduler

在使用 DolphinScheduler 的过程中,如果您有任何问题或者想法、建议,都可以通过Apache 邮件列表参与到 DolphinScheduler 的社区建设中来。

欢迎加入贡献的队伍,加入开源社区从提交第一个 PR开始,

- 找到带有”easy to fix”标记或者一些非常简单的issue(比如拼写错误等),先通过第一个PR熟悉提交流程,如果有任何疑问,欢迎联系

强烈推荐订阅开发邮件列表,与社区保持最新信息同步,这一点非常重要。

近期好文推荐:《美女 Committer 手把手教你使用海豚调度

最新文章

  1. 学习总结 之 WebApi服务监控 log4net记录监控日志
  2. Javascript ES6
  3. 多平台下Modbus通信协议库的设计(一)
  4. 【CodeVS】p1174 靶形数独
  5. poj 1995 裸快速幂
  6. 文件流StreamReader和StreamWriter的使用
  7. 在drupal7中动态的为某个内容类型添加字段
  8. Jquery Ajax Get示例
  9. Android系统更改状态栏字体颜色
  10. fopen(),fclose() 打开/关闭文件
  11. spring boot1.3.0版本及以上版本profile指定参数无法被打入
  12. iOS学习——获取当前最顶层的ViewController
  13. 学习ASP.NET Core Razor 编程系列七——修改列表页面
  14. PHP 查询脚本
  15. java 日常学习记录
  16. Go 初体验 - 常量 与 iota
  17. Go语言从入门到放弃(二) 优势/关键字
  18. Maven内存修改
  19. CSS 文本
  20. intellij idea 无法启动或调试 spring-boot

热门文章

  1. 探究MySQL中SQL查询的成本
  2. 关于我学git这档子事(3)
  3. 【爬虫+情感判定+Top10高频词+词云图】"王心凌"热门弹幕python舆情分析
  4. MySQL数据库5
  5. 架构师必备:系统容量现状checklist
  6. 领导:谁再用redis过期监听实现关闭订单,立马滚蛋!
  7. 02 RESTFul接口和HTTP的幂等性分析
  8. Linux 文件权限相关知识
  9. windows 安全
  10. lerna学习笔记