背景

通过做以下一个小的接口系统gate,了解一下mina和java并发包里的东西。A系统为javaweb项目,B为C语言项目,gate是本篇须要完毕的系统。

需求

1. A为集群系统,并发较高,会批量发送给gate消息,而且接受gate返回的消息。

2. gate独立部署,将从A接受到的消息压入队列,与B建立连接后,将每条消息验证签名等工作后,发送给B。须要保证性能;

3. B负责处理消息,并返回处理结果,B为gate提供提供六个port,一个port可有三个长连接(须由gate发送心跳保持长连接,否则超时切断连接)。

实例

项目中用到了两个框架mina2.0.7和axis2。首先,gate须要接收从A发送过来的消息。为保证消息顺序性。压入队列中。为保证性能。将队列中的消息通过不同的连接发送至B,这让我们非常快就想到了多线程中生产者消费者的那张图,而且这是一个生产者。多个消费者,以下我们来看代码。

首先,gate作为服务端,要为A提供一个接口,使用axis2完毕了。关于webservice就不必多说,可看我前面的博客。配置例如以下:

<serviceGroup>
<service name="sendService" scope="application">
<description>
SendService
</description>
<messageReceivers>
<messageReceiver mep="http://www.w3.org/2004/08/wsdl/in-only" class="org.apache.axis2.rpc.receivers.RPCInOnlyMessageReceiver"/>
<messageReceiver mep="http://www.w3.org/2004/08/wsdl/in-out" class="org.apache.axis2.rpc.receivers.RPCMessageReceiver"/>
</messageReceivers>
<parameter name="ServiceClass">
cn.net.easyway.customer.SendService
</parameter>
</service>
</serviceGroup>

以下是服务实现类:

import java.util.List;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.LinkedBlockingQueue; import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory; import cn.net.easyway.nds.MsgConsumer;
import cn.net.easyway.nds.MsgProducer; /**
* 为用户管理系统提供服务接口
* @author yuanfubiao
*
*/
public class SendService { private static Log logger = LogFactory.getLog(SendService.class); private static int num = 0;
//消息队列
private static LinkedBlockingQueue<String> msgQueue = new LinkedBlockingQueue<String>();
//生产者线程池
private static ExecutorService executorProducer = Executors.newFixedThreadPool(20); //创建20个线程。应对并发较高的情况
//消费者线程池
private static ExecutorService executorCustomer = Executors.newFixedThreadPool(18); //和连接数相应 /**
* 放入消息
* @param list 消息列表
*/
public void putMsg(List<String> list){ //将消息放入队列
executorProducer.execute(new MsgProducer(msgQueue,list)); //取出消息:数据量大,启用全部线程
if(list.size() > 18){
for(int i=0;i<18;i++){
executorCustomer.execute(new MsgConsumer(msgQueue));
}
}else{
executorCustomer.execute(new MsgConsumer(msgQueue));
}
}
}

Java并发包为我们提供了非常多有用的多线程东西,因此没有必要自己去实现一个队列和线程池。如上面代码我们用到的队列是LinkedBlockingQueue,他为线程安全的堵塞队列。多线程操作时不必为了同步而担心。而且会将进出两边自己主动负载,他实现自BlockingQueue接口。

从jdk中能够看到实现BlockingQueue接口的还有ArrayBlockingQueue,DelayQueue,
LinkedBlockingDeque,LinkedBlockingQueue,LinkedTransferQueue,PriorityBlockingQueue,SynchronousQueue;此接口就是提供一个堵塞队列,从api中我们看到例如以下一张图:

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvU3R1YmJvcm5Qb3RhdG9lcw==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="">

Throwsexception:当队列已满。再次加入会抛出错误,取数据也是如此。

Specialvalue:加入或取出时会有一个返回值;

Blocks:是在队列已满或为空时,会一直堵塞;

Time Out:指堵塞到一定时间。线程退出。

当中,另一个并发队列也是作为生产者消费者的首选:ConcurrentLinkedQueue,它是非堵塞队列。肯定就不是出自Blockingqueue接口,而是出自AbstractQueue,因此也就没有put和take方法,使用这个并发队列须要有两点注意:第一。推断是否为空尽量使用isEmpty方法。不要用size()。有人測试过size方法非常耗费时间。第二就是线程问题。尽管ConcurrentLinkedQueue是线程安全的,可是仅仅负责原子性的。就是说当你操作queue.add()
or queue.poll的时候是安全的。当并发量较大时,你在使用queue.isEmpty时还不为空,但就在这空当有可能就运行poll操作。导致队列为空引起异常,可用例如以下代码:

synchronized(queue) {
if(!queue.isEmpty()) {
queue.poll();
}
}

在gate中。我定义了两个线程池。一个是生产者。还有一个是消费者:

//生产者线程池
private static ExecutorService executorProducer = Executors.newFixedThreadPool(20); //创建20个线程。应对并发较高的情况
//消费者线程池
private static ExecutorService executorCustomer = Executors.newFixedThreadPool(18);

Executors提供了一个工厂方法,用来创建线程池。返回的线程池都实现了ExecutorService接口,能够创建例如以下线程池:

newCachedThreadPool():创建一个可缓存的线程池,调用execute将重用曾经构造的线程。假设如今线程没有可用的,则创建一个新线程加入到池中,终止并从缓存中溢出那些已有60秒未被使用的线程;

newFixedThreadPool(intnThreads):创建固定的线程;

newScheduledThreadPool(intcorePoolSize):创建一个支持定时及周期性的任务运行的线程池;

newSingleThreadExecutor():创建一个单线程的Executor。

启动线程。有两个方法。一个是execute(),还有一个是submit(),后者是有返回值的,会将运行的结果Future返回,关于Future可移步这里

以下就是生产者和消费者代码:

生产者:

import java.util.Iterator;
import java.util.List;
import java.util.concurrent.LinkedBlockingQueue; /**
* 向队列加入消息
* @author yuanfubiao
*
*/
public class MsgProducer implements Runnable { private LinkedBlockingQueue<String> msgQueue; private List<String> message; public MsgProducer(LinkedBlockingQueue<String> queue,List<String> msg) {
this.msgQueue = queue;
this.message = msg;
} @Override
public void run() {
Iterator<String> iter = message.iterator();
while(iter.hasNext()){
String msg = iter.next();
try {
msgQueue.put(msg);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
}

消费者:

import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.concurrent.LinkedBlockingQueue; import nds.framework.security.NDSMD5; import org.apache.commons.codec.binary.Hex;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.mina.core.session.IoSession; /**
* 从消息队列取出消息
* @author yuanfubiao
*
*/
public class MsgConsumer implements Runnable{ private static Log logger = LogFactory.getLog(MsgConsumer.class);
private LinkedBlockingQueue<String> msgQueue; public MsgConsumer(LinkedBlockingQueue<String> queue) {
this.msgQueue = queue;
} @Override
public void run() {
while(!msgQueue.isEmpty()){ String msg = null;
try {
msg = msgQueue.take();
} catch (InterruptedException e) {
e.printStackTrace();
} if(null == msg){
return;
} //增加时间
SimpleDateFormat format = new SimpleDateFormat("yyyyMMddHHmmss");
String now = format.format(new Date());
String prefix = msg.substring(0, 19);
String suffix = msg.substring(33, msg.length());
String packet = prefix.trim() + now.trim() + suffix.trim(); //签名部分忽略
//TODO
String newStr = packet // 签名 + signature.toUpperCase().trim();
//关于mina,可见我下篇文章
IoSession session = SessionPool.getSession(newStr.substring(13, 15));
logger.info("发送数据:" + newStr);
session.write(newStr); try {
Thread.sleep(1000); //等待一秒
} catch (InterruptedException e1) {
e1.printStackTrace();
}
}
}
}

源代码下载:http://download.csdn.net/detail/stubbornpotatoes/7438435

好文推荐:http://blog.csdn.net/defonds/article/details/44021605

最新文章

  1. Bitmap转换成BitmapImage
  2. java多线程之AtomicInteger
  3. iOS - GIF图的完美拆解、合成、显示
  4. 利用Echarts设计一个图表平台(一)
  5. 【C#基础】 读取json某个键值
  6. POJ 3421 X-factor Chains
  7. HTTP协议、Ajax请求
  8. RedirectToAction()转移方式及参数传递
  9. MySQL&#160;性能优化-数据库死锁监控
  10. 洛谷P1117 优秀的拆分
  11. 【资料下载区】【iCore1S相关代码、资料下载地址】更新日期2017/10/09
  12. kvm qemu ,ubuntu debian rootfs 通过qemu复现路由器漏洞
  13. [SoapUI] 在SoapUI中通过Groovy脚本执行window命令杀掉进程
  14. 排序算法(2)--Insert Sorting--插入排序[2]--binary insertion sort--折半(二分)插入排序
  15. [转帖]Kubernetes及容器编排的总体介绍【译】
  16. PHP转盘抽奖算法
  17. cv::Mat到YUV420的转换《转》
  18. MySQL &quot;tinyInt1isBit or tinyint(1)&quot; 相关问题解析
  19. 记遇到的一个php坑
  20. mac 安装配置使用nexus3.x

热门文章

  1. 《Java编程思想》笔记 第十一章 持有对象
  2. AC日记——病毒侵袭 hdu 2896
  3. Web.Config文件配置之限制上传文件大小和时间
  4. B - ACM小组的古怪象棋 【地图型BFS+特殊方向】
  5. 23、Django实战第23天:视频播放页面
  6. [AGC009C]Division into 2
  7. [Contest20180323]King
  8. 【动态规划】【零一背包】CODEVS 1014 装箱问题 2001年NOIP全国联赛普及组
  9. RxJava 1.x 理解-3
  10. CSS部分属性的深入学习