storm 入门介绍(持续更新)
2024-08-27 17:01:40
storm的集群表面上看和hadoop的集群非常像。但是在Hadoop上面你运行的是MapReduce的Job, 而在Storm上面你运行的是Topology。
它们是非常不一样的 — 一个关键的区别是: 一个MapReduce Job最终会结束, 而一个Topology运永远运行(除非你显式的杀掉他)。
Config conf = new Config(); //设置work的数量
conf.setNumWorkers(2); //设置Excutor的数量
TopologyBuilder topologyBuilder = new TopologyBuilder();
topologyBuilder.setBolt("blue-spout", new BlueSpot(), 2);
topologyBuilder.setBolt("green-bolt", new GreenBolt(), 2).setNumTasks(4).shuffleGrouping("blue-spout");
topologyBuilder.setBolt("yellow-bolt", new YellowBolt(), 6).shuffleGrouping("green-bolt");
命令行重新设置进程和线程个数
//Reconfigure the topology "test" to use 5 worker processes
//the spout "blue-spout to use 3 executors and the bolt "yellow-bolt" to use 10 executors." storm rebalance test -n 5 -e blue-spout=3 -e yellow-bolt=10
参考链接
1 storm 原理简介及单机版安装指南 https://my.oschina.net/leejun2005/blog/147607?from=20130804#OSC_h2_1
2 入门源码 https://github.com/nathanmarz/storm-starter
最新文章
- [恶趣味]搞了下局域网内的arp网络欺骗
- Junity测试最大子数列和的Java程序
- 数据库添加数据II及SQL语句错误
- c/c++ 数字转成字符串, 字符串转成数字
- 无需图片,使用CSS3实现圆角按钮[转]
- 搬瓦工vps搭建vpn
- centos6.5 64位 openvpn安装配置
- 使用Xshell生成key,避免password登录linux
- HTC Vive 叠影器无法创建设备
- InfluxDB介绍
- android-基础编程-ViewPager
- java 连接数组
- Nestjs 使用mongodb
- Day03(黑客成长日记)
- Objective C, post 请求
- Netty核心概念(10)之内存管理
- Yii2.0 技巧总结
- 解决 ORA-12514: TNS: 监听程序当前无法识别连接描述符中请求的服务
- [转]NLog 自定义字段 写入 oracle
- ubuntu 执行Python脚本出现: /usr/bin/env: ‘python\r’: No such file or directory