第2章 执行SparkSQL查询
2024-10-09 14:37:31
第2章 执行SparkSQL查询
2.1 命令行查询流程
打开Spark shell
例子:查询大于30岁的用户
创建如下JSON文件,注意JSON的格式:
{"name":"Michael"}
{"name":"Andy", "age":30}
{"name":"Justin", "age":19}
2.2 IDEA创建SparkSQL程序
IDEA中程序的打包和运行方式都和SparkCore类似,Maven依赖中需要添加新的依赖项:
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>2.1.1</version>
<scope>provided</scope>
</dependency>
程序如下:
package com.atguigu.sparksql import org.apache.spark.sql.SparkSession
import org.apache.spark.{SparkConf, SparkContext}
import org.slf4j.LoggerFactory object HelloWorld { def main(args: Array[String]) {
//创建SparkConf()并设置App名称
val spark = SparkSession
.builder()
.appName("Spark SQL basic example")
.config("spark.some.config.option", "some-value")
.getOrCreate() // For implicit conversions like converting RDDs to DataFrames
import spark.implicits._ val df = spark.read.json("examples/src/main/resources/people.json") // Displays the content of the DataFrame to stdout
df.show() df.filter($"age" > 21).show() df.createOrReplaceTempView("persons") spark.sql("SELECT * FROM persons where age > 21").show() spark.stop()
} }
最新文章
- SQL Left Join, Right Join, Inner Join, and Natural Join 各种Join小结
- bzoj2683
- VS2010 使用 EntityFramework For SQL Server Compact 4.0
- *nix下传统编程入门之GCC
- 20145235 《Java程序设计》第一次实验报告
- MySQL和MongoDB语句的写法对照
- Homebrew 1.0.0 发布,MacOS 上的包管理器
- BC 2015在百度之星程序设计大赛 - 预赛(1)(KPI-树董事长)
- 【转载】webstorm11(注册,激活,破解,码,一起支持正版,最新可用)(2016.11.16更新)
- xBIM WeXplorer
- 记录一次CentOS环境升级Python2.6到Python2.7并安装最新版pip
- 总结:Java 集合进阶精讲2-ArrayList
- asp一句话
- vue.js中内联样式style三元表达式
- unity无限循环报错的定位
- tmux 基本用法
- Python 爬虫实例(15) 爬取 百度百聘(微信公众号)
- 492. Construct the Rectangle
- myeclipse激活后server不能用问题
- vi全文替换命令
热门文章
- 像计算机科学家一样思考Python(第2版)|百度网盘免费下载|Python新手入门资料
- 扫描PDF417崩溃的原因找到:手机摄像头分辨率低
- phpbasic
- 手写 promies
- variable ans might not have been initialized 报错,以及初始化注意点
- PHP debug_zval_dump() 函数
- PHP is_finite() 函数
- 5.10 省选模拟赛 tree 树形dp 逆元
- 记502 dp专练
- 70道Spring面试题