近日,孙金城老师在 “Open Source Promotion Plan - Summer 2020” 开源软件供应链点亮计划做了《如何成为一名合格的Apache项目Committer,参与Apache开源贡献的正确姿势》的分享,开源软件供应链点亮计划旨在鼓励大家关注开源软件和开源社区,发掘和培养更多优秀的开发者。

听了孙老师的介绍,想必伙伴们已经对如何参与 Apache 项目有了一定的了解。咱们Apache DolphinScheduler 作为 Apache 基金会旗下正在孵化的大数据任务调度项目,社区是非常 open 的欢迎任何形式的讨论,十分期待大家的参与和贡献。下面是DolphinScheduler社区情况的介绍,目前社区正在进行 1.3.1 版本的发版投票,欢迎关注!

Apache DolphinScheduler社区介绍:

Apache DolphinScheduler 是一个非常多样化的社区,至今贡献者已100多名, 他们分别来自 30 多家不同的公司。 微信群用户3000人。

Apache DolphinScheduler 部分用户案例(排名不分先后)

已经有300多家企业和科研机构在使用DolphinScheduler,来处理各类调度和定时任务,另有500多家公司开通了海豚调度的试用:

Apache DolphinScheduler 是什么

Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。

Apache DolphinScheduler项目起源 - 需求决定

Apache DolphinScheduler四大特性

Apache DolphinScheduler 能力:

  • 以DAG图的方式将Task按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态

  • 支持丰富的任务类型:Shell、MR、Spark、Flink、SQL(mysql、postgresql、hive、sparksql)、Python、Http、Sub_Process、Procedure等

  • 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作

  • 支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败

  • 支持工作流全局参数及节点自定义参数设置

  • 支持资源文件的在线上传/下载,管理等,支持在线文件创建、编辑

  • 支持任务日志在线查看及滚动、在线下载日志等

  • 实现集群HA,通过Zookeeper实现Master集群和Worker集群去中心化

  • 支持对Master/Worker cpu load,memory,cpu在线查看

  • 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计

  • 支持补数

  • 支持多租户

  • 支持国际化

即将发布的Apache DolphinScheduler 1.3.1 新特性

  • Worker实现重构,提升Worker性能

    • Master和Worker引入Netty通信

    • 去zookeeper任务队列

    • Worker节点的三种选择:随机、循环和CPU和内存的线性加权负载平衡

    • Worker去数据库操作

  • 资源中心支持多目录

  • 添加 if/else 条件任务

  • 添加 sqoop/datax 任务

  • 支持 k8s 部署

  • 添加DAG流程图一键格式化

  • 流程图美化

  • 支持 ambari 插件安装

  • 批量导出和导入工作流

  • 流程定义支持复制

  • 大幅简化配置项,简化部署

DolphinScheduler系统部分截图

在线DEMO试用

http://106.75.43.194:8888/

DolphinScheduler Slogan

加入 Apache DolphinScheduler

在使用 DolphinScheduler 的过程中,如果您有任何问题或者想法、建议,都可以通过Apache 邮件列表或者github issue参与到 DolphinScheduler 的社区建设中来。

欢迎加入贡献的队伍,加入开源社区从提交第一个 PR开始,

- 找到带有”easy to fix”标记或者一些非常简单的issue(比如拼写错误等),先通过第一个PR熟悉提交流程,如果有任何疑问,欢迎联系

最新文章

  1. [LeetCode] Reverse Words in a String 翻转字符串中的单词
  2. sqlite - java 初学
  3. Android—Socket服务端与客户端用字符串的方式互相传递图片
  4. Alamofire源码学习
  5. 使用eclipse开发的兼容性配置
  6. drupal7安装中文错误
  7. 远程仓库版本回退方法 good
  8. oracle数据库敏感操作前创建还原点
  9. JAVA-5-关于for循环的几个例子
  10. linux技术框架
  11. Request.ServerVariables["Url"]
  12. JavaScript原型与继承
  13. 编写程序,从vector<char>初始化string
  14. xcode进行代码覆盖率测试
  15. ElasticSearch(四):关于es的一些基础知识讲解
  16. windws 下 sublime Text 3 ·安装的安装与激活
  17. 20款最好的jQuery文件上传插件
  18. Ubuntu sh命令无法正确执行 (修改默认sh为bash)
  19. git学习笔记(二)—— 创建版本库&&版本管理
  20. iview 下拉刷新loadTop报错解决

热门文章

  1. 修改mysql数据库存储路径
  2. 竟然还有人说ArrayList是2倍扩容,今天带你手撕ArrayList源码
  3. Kubernetes将弃用Docker!与 containerd容器引擎
  4. 记一次ms17-010复现过程
  5. CentOS中实现基于Docker部署BI数据分析
  6. Kali2019渗透环境配置
  7. 鼠标右键打开powershell
  8. JS中通过id或者class获取文本内容
  9. NC202498 货物种类
  10. P1087 FBI树 [2004普及]