Spark在MaxCompute的运行方式
2024-09-05 22:44:30
一、Spark系统概述
左侧是原生Spark的架构图,右边Spark on MaxCompute运行在阿里云自研的Cupid的平台之上,该平台可以原生支持开源社区Yarn所支持的计算框架,如Spark等。
二、Spark运行在客户端的配置和使用
2.1打开链接下载客户端到本地
2.2将文件上传的ECS上
2.3将文件解压
tar -zxvf spark-2.3.0-odps0.30.0.tar.gz
2.4配置Spark-default.conf
# spark-defaults.conf
# 一般来说默认的template只需要再填上MaxCompute相关的账号信息就可以使用Spark
spark.hadoop.odps.project.name =
spark.hadoop.odps.access.id =
spark.hadoop.odps.access.key =
# 其他的配置保持自带值一般就可以了
spark.hadoop.odps.end.point = http://service.cn.maxcompute.aliyun.com/api
spark.hadoop.odps.runtime.end.point = http://service.cn.maxcompute.aliyun-inc.com/api
spark.sql.catalogImplementation=odps
spark.hadoop.odps.task.major.version = cupid_v2
spark.hadoop.odps.cupid.container.image.enable = true
spark.hadoop.odps.cupid.container.vm.engine.type = hyper
2.5在github上下载对应代码
https://github.com/aliyun/MaxCompute-Spark
2.5将代码上传到ECS上进行解压
unzip MaxCompute-Spark-master.zip
2.6将代码打包成jar包(确保安装Maven)
cd MaxCompute-Spark-master/spark-2.x
mvn clean package
2.7查看jar包,并进行运行
bin/spark-submit --master yarn-cluster --class com.aliyun.odps.spark.examples.SparkPi \
MaxCompute-Spark-master/spark-2.x/target/spark-examples_2.11-1.0.0-SNAPSHOT-shaded.jar
三、Spark运行在DataWorks的配置和使用
3.1进入DataWorks控制台界面,点击业务流程
3.2打开业务流程,创建ODPS Spark节点
3.3上传jar包资源,点击对应的jar包上传,并提交
3.4配置对应ODPS Spark的节点配置点击保存并提交,点击运行查看运行状态
四、Spark在本地idea测试环境的使用
4.1下载客户端与模板代码并解压
模板代码:
https://github.com/aliyun/MaxCompute-Spark
4.2打开idea,点击Open选择模板代码
4.2安装Scala插件
4.3配置maven
4.4配置JDK和相关依赖
本文作者:耿江涛
本文为云栖社区原创内容,未经允许不得转载。
最新文章
- ArrayList、Vector、LinkedList的区别联系?
- 培训第五天---JS
- HTTP错误404.13 - Not Found 请求筛选模块被配置为拒绝超过请求内容长度的请求
- HTML-Canvas01
- 基于SOCK4网络协议的代理服务器端代码示例
- UITableViewCell 单元格样式
- jQuery源码dom ready分析
- Himi的base64代码
- Adobe Edge Animate --使用HTML5实现手机摇一摇功能
- C++中实现从std::string类型到bool型的转换
- 淺析LED、LED背光、OLED的技術原理與區別
- TP-Link路由器的设置向导
- 64、django之模型层(model)--建表、查询、删除基础
- Mybatis_4.接口类和XML同时使用
- 基于PLC1850平台的ICMP包请求与响应
- 题解 CF934A 【A Compatible Pair】 ——贪心
- python shell的交互模式和文本编辑模式
- Educational Codeforces Round 19 题解【ABCDE】
- [Spring] 关联类和bean | autowire=byName|byType
- Java-学习-喜欢-品牌:互联网公司成为动物园,拟人化品牌形象真的那么有意思?
热门文章
- 像计算机科学家一样思考python-第3章 函数
- Delphi XE2 之 FireMonkey 入门(10) - 常用结构 TPoint、TPointF、TSmallPoint、TSize、TRect、TRectF 及相关方法
- 阶段1 语言基础+高级_1-3-Java语言高级_06-File类与IO流_08 转换流_6_练习_转换文件编码
- KETTLE——(三)数据输出
- C#之委托(二)
- 16/7/8_PHP-对象的高级特性
- Java ——对象 类 方法重载 构造方法 封装 内部类
- CentOS7 修复boot目录
- JAVA Error:The project was not built since its build path is incomplete. Cannot find the class file for java.util.Map$Entry.....
- (六:NIO系列) 相关设计模式