摘要: Elastic-Job是ddframe中dd-job的作业模块中分离出来的分布式弹性作业框架.去掉了和dd-job中的监控和ddframe接入规范部分.该项目基于成熟的开源产品Quartz和Zookeeper及其客户端Curator进行二次开发. ddframe其他模块也有可独立开源的部分,之前当当曾开源过dd-soa的基石模块DubboX. 项目开源地址:https://github.com/dangdangdotcom/elastic-job Elastic-Job是ddframe中

作者简介: 张亮,当当网架构师.当当技术委员会成员.消息中间件组负责人.对架构设计.分布式.优雅代码等领域兴趣浓厚.目前主导当当应用框架ddframe研发,并负责推广及撰写技术白皮书.   一.为什么需要作业(定时任务)? 作业即定时任务.一般来说,系统可使用消息传递代替部分使用作业的场景.两者确有相似之处.可互相替换的场景,如队列表.将待处理的数据放入队列表,然后使用频率极短的定时任务拉取队列表的数据并处理.这种情况使用消息中间件的推送模式可更好的处理实时性数据.而且基于数据库的消息存储吞吐量

作业配置 与Spring容器配合使用作业,可以将作业Bean配置为Spring Bean,可在作业中通过依赖注入使用Spring容器管理的数据源等对象.可用placeholder占位符从属性文件中取值. Spring命名空间配置 <?xml version="1.0" encoding="UTF-8"?> <!-- - Copyright - Alibaba Group. - - Licensed under the Apache License,

Elastic-Job是ddframe中dd-job的作业模块中分离出来的分布式弹性作业框架.去掉了和dd-job中的监控和ddframe接入规范部分.该项目基于成熟的开源产品Quartz和Zookeeper及其客户端Curator进行二次开发. 项目开源地址:https://github.com/dangdangdotcom/elastic-job ddframe其他模块也有可独立开源的部分,之前当当曾开源过dd-soa的基石模块DubboX. elastic-job和ddframe关系见下图

当当的Elastic-Job开源出了两种分布式Job的解决方案:1. elastic-job-lite,这是一个无中心节点的调度: Elastic-Job-Lite定位为轻量级无中心化解决方案,使用jar包的形式提供分布式任务的协调服务. 2. elastic-job-cloud是一个有中心节点的分布式调度开源工具 Elastic-Job-Cloud使用Mesos + Docker(TBD)的解决方案,额外提供资源治理.应用分发以及进程隔离等服务.Elastic-Job-Lite和Elastic

开发指南 代码开发 作业类型 目前提供3种作业类型,分别是Simple,DataFlow和Script. DataFlow类型用于处理数据流,它又提供2种作业类型,分别是ThroughputDataFlow和SequenceDataFlow.需要继承相应的抽象类. Script类型用于处理脚本,可直接使用,无需编码. 方法参数shardingContext包含作业配置,分片和运行时信息.可通过getShardingTotalCount(),getShardingItems()等方法分别获取分片总

Elastic-Job - 分布式定时任务框架 摘要 Elastic-Job是ddframe中dd-job的作业模块中分离出来的分布式弹性作业框架.去掉了和dd-job中的监控和ddframe接入规范部分.该项目基于成熟的开源产品Quartz和Zookeeper及其客户端Curator进行二次开发. ddframe其他模块也有可独立开源的部分,之前当当曾开源过dd-soa的基石模块DubboX. 项目开源地址:https://github.com/dangdangdotcom/elastic-j

HTTP GET.DELETE.PUT.POST四种主要方法的幂等性的理解 GET: GET请求是幂等的,多次的GET请求,不应该修改数据状态,只是查询. DELETE Delete请求也具有幂等性,执行一次请求,删除id=1的记录,多次请求与一次请求的结果应该是一样的,最终的结果都是把id=1的记录删除. PUT Put意为修改记录,也具有幂等性,执行一次请求,将记录修改为特定状态,多次请求结果也应该是一样的. POST Post请求不具有幂等性,通常为增加记录.没执行一次请求,都会增加一条记

转载: 理解HTTP幂等性 基于HTTP协议的Web API是时下最为流行的一种分布式服务提供方式.无论是在大型互联网应用还是企业级架构中,我们都见到了越来越多的SOA或RESTful的Web API.为什么Web API如此流行呢?我认为很大程度上应归功于简单有效的HTTP协议.HTTP协议是一种分布式的面向资源的网络应用层协议,无论是服务器端提供Web服务,还是客户端消费Web服务都非常简单.再加上浏览器.Javascript.AJAX.JSON以及HTML5等技术和工具的发展,互联网应用架

基于HTTP协议的Web API是时下最为流行的一种分布式服务提供方式.无论是在大型互联网应用还是企业级架构中,我们都见到了越来越多的SOA或RESTful的Web API.为什么Web API如此流行呢?我认为很大程度上应归功于简单有效的HTTP协议.HTTP协议是一种分布式的面向资源的网络应用层协议,无论是服务器端提供Web服务,还是客户端消费Web服务都非常简单.再加上浏览器.Javascript.AJAX.JSON以及HTML5等技术和工具的发展,互联网应用架构设计表现出了从传统的PHP

github源码: https://github.com/dangdangdotcom/elastic-job maven中央仓: http://repo1.maven.org/maven2/com/dangdang/ 获取分支 git clone -b 1.0.4 https://github.com/dangdangdotcom/elastic-job 快速上手 http://dangdangdotcom.github.io/elastic-job/post/quick_start/ Zoo

在httpcomponent 文档中看到如下段落: 1.4.1. HTTP transport safety It is important to understand that the HTTP protocol is not well suited to all types of applications. HTTP is a simple request/response oriented protocol which was initially designed to support s

以前就听说过这个词,但是最近看了一些文章,产生了一些疑惑, GET是幂等性.例如查一条数据,如果你给定一个id.那么你查多少次.都是这条数据,但是我疑问,这里的幂等性指的是,每次都返回一条.这个数量,还是说每次都返回同样一条数据(数据内容) DELETE是幂等性 你第一次删除数据,是删除掉.这个副作用是删除了给定id的数据,服务端数据状态发生了改变.但是你二次再删除,数据是没有的,你没删除掉.这里的幂等性如何理解,状态的改变是相对于谁的改变 看了这篇文章 http://www.oschina.n

Http协议规定了不同方法的安全特性和幂等特性,作为服务提供者的服务器必需为客户端提供这些特性. 安全性,仅指该方法的多次调用不会产生副作用,不涉及传统意义上的“安全”,这里的副作用是指资源状态.即,安全的方法不会修改资源状态,尽管多次调用的返回值可能不一样(被其他非安全方法修改过). 幂等性,是指该方法多次调用返回的效果(形式)一致,客户端可以重复调用并且期望同样的结果.幂等的含义类似于编程语言中的setter方法[1],一次调用和多次调用产生的效果是一致的,都是对一个变量进行赋值.安全性和幂

http://www.cnblogs.com/weidagang2046/archive/2011/06/04/2063696.html 理解HTTP幂等性 基于HTTP协议的Web API是时下最为流行的一种分布式服务提供方式.无论是在大型互联网应用还是企业级架构中,我们都见到了越来越多的SOA或RESTful的Web API.为什么Web API如此流行呢?我认为很大程度上应归功于简单有效的HTTP协议.HTTP协议是一种分布式的面向资源的网络应用层协议,无论是服务器端提供Web服务,还是客

一.前言 在我们的项目当中,使用定时任务是避免不了的,我们在部署定时任务时,通常只部署一台机器.部署多台机器时,同一个任务会执行多次.比如短信提醒,每天定时的给用户下发短信,如果部署了多台,同一个用户将发送多条.只部署一台机器,可用性又无法保证.今天向大家介绍一款开源产品,分布式定时任务解决方案---- elastic-job. 二.简介 Elastic-Job是一个分布式调度解决方案,由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成.在我们的项目中

基于HTTP协议的Web API是时下最为流行的一种分布式服务提供方式.无论是在大型互联网应用还是企业级架构中,我们都见到了越来越多的SOA或RESTful的Web API.为什么Web API如此流行呢?我认为很大程度上应归功于简单有效的HTTP协议.HTTP协议是一种分布式的面向资源的网络应用层协议,无论是服务器端提供Web服 务,还是客户端消费Web服务都非常简单.再加上浏览器.Javascript.AJAX.JSON以及HTML5等技术和工具的发展,互联网应用架构设 计表现出了从传统的P

上文我们讲到Springboot整合Elastic-Job整合的demo,只是简单的实现了主要功能.本文在上文基础上,进行新的调整. 事件追踪 Elastic-Job提供了事件追踪功能,可通过事件订阅的方式处理调度过程的重要事件,用于查询.统计和监控.Elastic-Job目前提供了基于关系型数据库两种事件订阅方式记录事件.我们只需要将添加如下配置即可 /** * 将作业运行的痕迹进行持久化到DB */ @Bean public JobEventConfiguration jobEventCon

Elastic-Job是当当网的任务调度开源框架,有以下功能 分布式调度协调 弹性扩容缩容 失效转移 错过执行作业重触发 作业分片一致性,保证同一分片在分布式环境中仅一个执行实例 自诊断并修复分布式不稳定造成的问题 支持并行调度 支持作业生命周期操作 丰富的作业类型 Spring整合以及命名空间提供 运维平台 具体信息可以查看 官网,Elastic-Job的文档很详细,同时也有相应的demo.但是,美中不足的是他的springboot版本的demo用的是xml结构的.网上的例子都有点乱,花了点时

1.官网下载eclipse----面向Java EE企业级开发的Eclipse IDE for Java EE Developers:2.官网下载maven,并配置环境变量---MAVEN_HOME:D:/maven,将%MAVEN_HOME%/bin加入到path中cmd命令验证maven是否安装成功:mvn -version3.下载zookeeper,修改配置文件zoo.cfg,详见zookeeper安装部署4.eclipse通过git导入elastic-joba.在Eclipse里面有个G