记一次storm提交任务遇到的坑
2024-10-10 10:29:09
摘要:主要是自己没有真正理解storm jar命令参数的意义。
情景复现:
在storm集群中使用命令提交后,在UI界面中,一直看不见任务提交上来的任务,但是在集群提交的shell界面中,是可以看到相关任务的日志输出情况的。
下面是导致任务提交不上去的代码:
解释:storm jar xxxxxxx.jar com.主函数名
在storm集群中使用此命令进行提交时,jar包后面是需要输入主函数的。
if (args.length < 1) {
LocalCluster cluster = new LocalCluster();
//在本地运行
cluster.submitTopology(properties.getProperty(TOPOLOGY_NAME, DEFAULT_TOPOLOGY_NAME), config, builder.createTopology());
} else {
StormSubmitter.submitTopology(properties.getProperty(TOPOLOGY_NAME, DEFAULT_TOPOLOGY_NAME), config, builder.createTopology());
}
此代码中的args你可能会和我一样,理解成是输入的主函数的路径,就理解成在提交时输入了主函数,这儿就不小于1了,就是在集群上运行了。
但是,实际的情况是,你在集群上,提交任务时,后面输的主函数的路径,不代表你从控制台输入的参数个数。(有点绕,自己多做两次实验就可以了)
如果想要使用上面的方法:正确的姿势是:storm jar xxxxxxx.jar com.主函数名 随便再输入一个参数(我这儿的配置文件等,不是从控制台获取,随便输入没有任何实际意义)
就可以使用上面的方法了。
最新文章
- C# 进制转换参考
- sharepoint 2010 误删除AD组用户不能访问
- css系列教程--color direction line-height letter-spacing
- Software development process
- 2、原生js实现轮播图特效
- Insert 导致死锁的两种情况
- c语言fork 多进程
- webpack-loader是怎样炼成的
- c# WPF 设置窗口一直在其中窗口后面/底层窗口
- 创建物理卷报错Can&#39;t open /dev/sdb5 exclusively. Mounted filesystem的问题解决过程记录
- hive优化之参数调优
- Linux下利用json-c从一个json数组中提取每一个元素中的部分字段组成一个新json数组
- 通过phoenix在hbase上创建二级索引,Secondary Indexing
- SpringCloud-微服务网关ZUUL(六)
- bootm命令移植
- Python 字典 pop() 方法
- ThreadLocal类,实例测试,FutureTask类,实例测试。
- AHOI2005航线规划 bzoj1969(LCT缩点)
- Ubuntu 16.04屏幕阅读Screen Reader导致快捷键失灵的问题解决
- 【音乐App】—— Vue-music 项目学习笔记:歌曲列表组件开发