storm on yarn(CDH5) 部署笔记
按照storm on yarn(Apache hadoop)部署好之后，然后修改HADOOP_HOME,hadoopenv.sh中的JAVA_HOME,以及storm-yarn-master中pom.xml的hadoop version
启动顺序依次为：
hdfs：start-dfs.sh
yarn:start-yarn.sh
zookeeper:zkServer.sh start
storm
nimbus:storm nimbus
UI：storm ui #localhost:8080
supervisor:storm supervisor 如果有从节点的话
提交storm任务：
storm-yarn launch storm.yaml
存储storm.yaml文件到.storm，这样使用storm命令提交jobs时，会找到该文件 ---我的这一步出错，但是在apache hadoop下成功了
storm-yarn getStormConfig -appId application_1381089732797_0025 -output ~/.storm/storm.yaml
提交Topology
storm jar lib/storm-starter-0.0.1-SNAPSHOT.jar storm.starter.WordCountTopology WordCountTopology -c nimbus.host=<your nimbus host>
监控Topology
查看Storm ui，地址是：http://<your nimbus host>:8080
关闭Topology
storm kill [Topology_name]
关闭Storm on yarn集群
storm-yarn shutdown –appId [applicationId]
致谢：http://blog.csdn.net/m_vptr/article/details/9962613
错误：15/07/19 00:31:46 INFO yarn.StormOnYarn: application report for application_1437236195968_0001 :N/A:-1
15/07/19 00:31:46 INFO yarn.StormOnYarn: Attaching to N/A:-1 to talk to app master application_1437236195968_0001
Exception in thread "main" java.lang.IllegalArgumentException: invalid port: -1
待解决
最新文章
- PAT A 1018. Public Bike Management (30)【最短路径】
- 我所理解的ECMAScript、DOM、BOM---写给新手们
- DNS(二)之bind的视图功能
- uC/OS-II类型定义
- zoj3623 Battle Ships ——完全背包？简单DP！|| 泛化背包
- Flex Alert.show()方法的详解
- ADC及DA的头文件复析
- ViewPage 大圣归来 原生示例
- Nginx配置性能优化与压力测试webbench【转】
- python+requests+unittest API接口测试
- telnet命令使用详解
- Python之函数基础
- 为什么单线程的Redis这么快？
- selenium-确认进入了预期页面
- 为什么CynosDB叫真正的云原生数据库？
- P2598 [ZJOI2009]狼和羊的故事（网络流）
- 一: WCF的服务端与客户端在通信时有三种模式：请求响应模式、数据报模式和双工通讯模式。
- 20144306《网络对抗》MAL_恶意代码分析
- @Pointcut的用法
- 比较完整的HIS系统解释（转载记录）