在上一篇moonmq的介绍中(这里),我仅仅简短的罗列了一些moonmq的设计想法,但是对于如何使用并没有详细说明,公司同事无法很好的使用. 对于moonmq的使用,其实很简单,样例代码在这里,我们只需要处理好broker,consumer以及publisher的关系就可以了. 首先,我们需要启动一个broker,因为moonmq现在只支持tcp的自定义协议,所以broker启动的时候需要指定一个listen address. #启动broker ./simple_broker -addr=12

在前一篇文章Java中的阻塞队列(BlockingQueue)中介绍了Java中的阻塞队列.从性能上我们能得出一个结论:数组优于链表,CAS优于锁.那么有没有一种队列,通过数组的方式实现,而且采用无锁的结构?嗯,那就是Disruptor,而且比想象中更为强大. 1. 无处不在的锁 Java中的阻塞队列采用锁来实现对临界区资源的同步访问,保证操作的线程安全. 在上一篇文章中我们知道ArrayBlockingQueue通过ReentrantLock以及它的两个condition来控制并发: fina

背景 Disruptor是英国外汇交易公司LMAX开发的一个高性能队列,研发的初衷是解决内存队列的延迟问题(在性能测试中发现竟然与I/O操作处于同样的数量级).基于Disruptor开发的系统单线程能支撑每秒600万订单,2010年在QCon演讲后,获得了业界关注.2011年,企业应用软件专家Martin Fowler专门撰写长文介绍.同年它还获得了Oracle官方的Duke大奖. 目前,包括Apache Storm.Camel.Log4j 2在内的很多知名项目都应用了Disruptor以获取高

背景 Disruptor是LMAX开发的一个高性能队列,研发的初衷是解决内存队列的延迟问题(在性能测试中发现竟然与I/O操作处于同样的数量级).基于Disruptor开发的系统单线程能支撑每秒600万订单,2010年在QCon演讲后,获得了业界关注.2011年,企业应用软件专家Martin Fowler专门撰写长文介绍.同年它还获得了Oracle官方的Duke大奖. 目前,包括Apache Storm.Camel.Log4j2在内的很多知名项目都应用了Disruptor以获取高性能. 我们先知道

前言 秒杀架构持续优化中,基于自身认知不足之处在所难免,也请大家指正,共同进步.文章标题来自码友 简介 LMAX Disruptor是一个高性能的线程间消息库.它源于LMAX对并发性,性能和非阻塞算法的研究,如今构成了Exchange基础架构的核心部分. Disruptor它是一个开源的并发框架,并获得2011 Duke's 程序框架创新奖,能够在无锁的情况下实现网络的Queue并发操作. Disruptor是一个高性能的异步处理框架,或者可以认为是最快的消息框架(轻量的JMS),也可以认为是一

一.什么是 Disruptor 从功能上来看,Disruptor 是实现了"队列"的功能,而且是一个有界队列.那么它的应用场景自然就是"生产者-消费者"模型的应用场合了. 可以拿 JDK 的 BlockingQueue 做一个简单对比,以便更好地认识 Disruptor 是什么. 我们知道 BlockingQueue 是一个 FIFO 队列,生产者(Producer)往队列里发布(publish)一项事件(或称之为"消息"也可以)时,消费者(Co

介绍 System.Threading.Channels 是.NET Core 3.0 后推出的新的集合类型, 具有异步API,高性能,线程安全等特点,它可以用来做消息队列,进行数据的生产和消费, 公开的 Writer 和 Reader api对应消息的生产者和消费者,也让Channel更加的简洁和易用,与Rabbit MQ 等其他队列不同的是,Channel 是进程内的队列. 开始Channel之旅 创建一个 channel 非常简单,Channel 类公开的API支持创建无限容量和有限容量的

1. Disruptor简单介绍 Disruptor是一个由LMAX开源的Java并发框架.LMAX是一种新型零售金融交易平台,这个系统是建立在 JVM 平台上,核心是一个业务逻辑处理器,它能够在一个线程里每秒处理 6 百万订单.业务逻辑处理器完全是运行在内存中(in-memory),使用事件源驱动方式(event sourcing),具有低延迟,高吞吐的特性. disruptor有多快?官方给出了和ArrayBlockingQueue的比较图表: Disruptor可以用来解决并发编程中的一个

简单用法 下面以一个简单的例子来看看Disruptor的用法:生产者发送一个long型的消息,消费者接收消息并打印出来. 首先,我们定义一个Event: public class LongEvent { private long value; public void set(long value) { this.value = value; } } 为了使Disruptor对这些Event提前分配,我们需要创建一个EventFactory: import com.lmax.disruptor.E

在企业应用中RPC的使用可以说是十分的广泛,使用该技术可以方便的与各种程序交互而不用考虑其编写使用的语言. 如果你对RPC的概念还不太清楚,可以点击这里. 现今市面上已经有许多应用广泛的RPC框架,比如GRPC,而今天我们要介绍的是同样使用广泛的Apache Thrift.这篇文章将带你安全越过所有坑点,请放心食用. Thrift简介 Thrift是Facebook的一个开源项目,后来进入Apache进行孵化.Thrift也是支持跨语言的,所以它有自己的一套IDL.目前它支持几乎所有主流的编程语

前言 最近有个小项目的需要,使用golang写了个端口扫描工具,不得不说golang的效率确实比python快的太多了.在使用一段时间golang之后,感觉有三个方面是优于python的: 一个方面是性能优越 第二方面是兼容性好 第三方面是可以跨平台编译成本地二进制文件,发布项目很方便. 接下来我把这个工具的源代码,以及使用方式给大家给大家分享一下. PortScan 工具名称:PortScan 采用Go语言开发,支持从config.txt文件中读取目的ip和端口,对指定的目的服务器进行端口扫描

通过Goroutine实现UDP消息并发处理 package main import ( "net" "fmt" "os" ) // 限制goroutine数量 ) // UDP goroutine 实现并发读取UDP数据 func udpProcess(conn *net.UDPConn) { // 最大读取数据大小 data := make([]) n, _, err := conn.ReadFromUDP(data) if err != n

原文地址: haifeiWu和他朋友们的博客 博客地址:www.hchstudio.cn 欢迎转载,转载请注明作者及出处,谢谢! 最近一直在研究队列的一些问题,今天楼主要分享一个高性能的队列 Disruptor . what Disruptor ? 它是英国外汇交易公司 LMAX 开发的一个高性能队列,研发的初衷是解决内存队列的延迟问题.基于 Disruptor 开发的系统单线程能支撑每秒600万订单. 目前,包括 Apache Storm.Log4j2 在内的很多知名项目都应用了Disrupt

线程池 BlockingQueue synchronized volatile 本章从线程池到阻塞队列BlockingQueue.从BlockingQueue到synchronized 和 volatile关键字.用wait,notify线程之间的通讯实现BlockingQueue队列.将这些零碎的知识整合在一起.如下图所示,都是本章知识点.之所以写这篇博客,是因为前段时间看了一篇关于"一名3年工作经验的程序员应该具备的技能"文章,倍受打击. 学习流程图: 技术:Executors,B

1. 什么是阻塞队列 阻塞队列(BlockingQueue)是 Java 5 并发新特性中的内容,阻塞队列的接口是 java.util.concurrent.BlockingQueue,它提供了两个附加操作:当队列中为空时,从队列中获取元素的操作将被阻塞:当队列满时,向队列中添加元素的操作将被阻塞. 阻塞队列常用于生产者和消费者的场景,生产者是往队列里添加元素的线程,消费者是从队列里拿元素的线程.阻塞队列就是生产者存放元素的容器. 阻塞队列提供了四种操作方法: 抛出异常:当队列满时,再向队列中插

Raygun服务由许多活动组件构成,每个组件用于特定的任务.其中一个模块是用Golang编写的,负责对iOS崩溃报告进行处理.简而言之,它接受本机iOS崩溃报告,查找相关的dSYM文件,并生成开发者可以阅读并理解的堆栈跟踪信息. dSYM-worker进程的操作非常简单,它通过Redis队列接收作业并执行,然后不断重复.这个dSYN-worker进程在一台机器上运行,作业处理的速率及负载相对合理,但仍有一些情况需要运维人员随时待命维护: 负载飙升.每隔一段时间,通常是在周末,用户更多地使用iOS

disruptor是一个高性能的线程间异步通信的框架,即在同一个JVM进程中的多线程间消息传递.应用disruptor知名项目有如下的一些:Storm, Camel, Log4j2,还有目前的美团点评技术团队也有很多不少的应用,或者说有一些借鉴了它的设计机制. 下面就跟着笔者一起去领略下disruptor高性能之道吧~ disruptor是一款开源的高性能队列框架,github地址为 https://github.com/LMAX-Exchange/disruptor. 分析disruptor,

一.基本介绍 ArrayBlcokingQueue,LinkedBlockingQueue是jdk中内置的阻塞队列,网上对它们的分析已经很多,主要有以下几点: 1.底层实现机制不同,ArrayBlcokingQueue是基于数组的,LinkedBlockingQueue是基于链表的: 2.初始化方式不同,ArrayBlcokingQueue是有界的,初始化时必须指定队列的大小:LinkedBlockingQueue可以是无界的,但如果初始化时指定了队列大小,也可以做为有界队列使用: 3.锁机制实

项目中需要用到golang的队列,container/list,需要放入的元素是struct,但是因为golang中list的设计,从list中取出时的类型为interface{},所以需要想办法把interface{}转换为struct. 这里需要用到interface assertion,具体操作见下面代码: package main import ( "container/list" "fmt" "strconv" ) type Peopl

自从前段时间的一个事故让队列里缓存的大量关键数据丢失后,一直琢磨着弄一个能持久化到本地文件的队列,这样即使系统再次发生意外,我也不至于再苦逼的修数据了.选定使用mappedbytebuffer来实现,但做出来的原型不够理想.<高性能队列Fqueue的设计和使用实践>这篇文章给了我莫大的帮助. 当然只是借鉴了大致的文件系统结构,绝大部分还是按自己的想法来的. 上图就是队列的文件系统,index文件记录了队列当前的读写文件号,读写位置和读写计数.队列的size是通过读写计数writeCounter