Spark-shell批量命令执行脚本
2024-10-08 01:50:41
#!/bin/bash source /etc/profile exec $SPARK_HOME/bin/spark-shell --queue tv --name spark-sql-test --executor-cores --executor-memory 8g --num-executors --conf spark.cleaner.ttl= <<!EOF
import org.apache.spark.sql.SaveMode
sql("set hive.exec.dynamic.partition=true")
sql("set hive.exec.dynamic.partition.mode=nonstrict")
sql("use hr")
sql("SELECT * FROM t_abc ").rdd.saveAsTextFile("/tmp/out")
sql("SELECT * FROM t_abc").rdd.map(_.toString).intersection(sc.textFile("/user/hdfs/t2_abc").map(_.toString).distinct).count
!EOF
最新文章
- 图解jmeter压测http接口
- dubbo分布式rpc框架用法
- Winform中进行MD5加密
- HDU5800 To My Girlfriend 背包计数dp
- ios系统 处理内存警告
- linux centos6 NAT 端口转发
- POJ1502
- MapReduce调度与执行原理之任务调度(续)
- GIF/PNG/JPG和WEBP/base64/apng图片优点和缺点整理(转)
- wchar_t * 与 char * 互相转换小记
- Python爬虫从入门到放弃(二十三)之 Scrapy的中间件Downloader Middleware实现User-Agent随机切换
- PHP中public、protected、private权限修饰符
- AndroidStudio中导入module(简单版)
- 用Openssl计算ECDSA签名
- 强化学习---TRPO/DPPO/PPO/PPO2
- 【命令】MongoDB常用命令记录
- JS---函数名和变量名重名
- 数据仓库基础(十三)Informatica workflow
- java内存泄露问题
- 修改jdk