spark启动
2024-10-12 10:53:54
注意在启动spark时候要指定参数 要不就死启动的单机版的
/usr/local/spark-1.5.2-bin-hadoop2.6/bin/spark-shell \
--master spark://node1.itcast.cn:7077 \
--executor-memory 2g \
--total-executor-cores 2
参数说明：
--master spark://node1.itcast.cn:7077 指定Master的地址
--executor-memory 2g 指定每个worker可用内存为2G
--total-executor-cores 2 指定整个集群使用的cup核数为2个
这样便启动了 worker master
启动 spark-shell
上传文件 到 hdfs
spark-shell中编写spark程序
最新文章
- Html中<font>标签的使用
- 华为oj 刷题记录之合唱团
- HDU 1083 网络流之二分图匹配
- Highcharts candlestick(K线图)案例
- iframe 跨域自适应 纯css解决方法
- Sql语句中的truncate，delete，drop的区别
- 微软职位内部推荐-Senior Network Engineer
- Java简介(1)
- Find the largest multiple of 3 解答
- Android开发调试日志工具类[支持保存到SD卡]
- Linq无聊练习系列8---开放式并发事务,null和 DateTime,string操作练习
- Openjudge-计算概论（A）-第二个重复出现的数
- idea生成类注释和方法注释的正确方法
- 手机网页唤醒app，
- Python语言规范
- js 之 this call apply
- Intellij IDEA 使用spring-boot-devtools无效解决办法一
- 读书笔记_Effective_C++_条款三十五：考虑virtual函数以外的其他选择
- [T-ARA][HOLIDAY]
- 解决 Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.3.2:compile (default-compile)