第2章 执行SparkSQL查询

2.1 命令行查询流程

打开Spark shell

例子:查询大于30岁的用户

创建如下JSON文件,注意JSON的格式:

{"name":"Michael"}
{"name":"Andy", "age":30}
{"name":"Justin", "age":19}

2.2 IDEA创建SparkSQL程序

IDEA中程序的打包和运行方式都和SparkCore类似,Maven依赖中需要添加新的依赖项:

<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>2.1.1</version>
<scope>provided</scope>
</dependency>

程序如下:

package com.atguigu.sparksql

import org.apache.spark.sql.SparkSession
import org.apache.spark.{SparkConf, SparkContext}
import org.slf4j.LoggerFactory object HelloWorld { def main(args: Array[String]) {
//创建SparkConf()并设置App名称
val spark = SparkSession
.builder()
.appName("Spark SQL basic example")
.config("spark.some.config.option", "some-value")
.getOrCreate() // For implicit conversions like converting RDDs to DataFrames
import spark.implicits._ val df = spark.read.json("examples/src/main/resources/people.json") // Displays the content of the DataFrame to stdout
df.show() df.filter($"age" > 21).show() df.createOrReplaceTempView("persons") spark.sql("SELECT * FROM persons where age > 21").show() spark.stop()
} }

  

最新文章

  1. SQL Left Join, Right Join, Inner Join, and Natural Join 各种Join小结
  2. bzoj2683
  3. VS2010 使用 EntityFramework For SQL Server Compact 4.0
  4. *nix下传统编程入门之GCC
  5. 20145235 《Java程序设计》第一次实验报告
  6. MySQL和MongoDB语句的写法对照
  7. Homebrew 1.0.0 发布,MacOS 上的包管理器
  8. BC 2015在百度之星程序设计大赛 - 预赛(1)(KPI-树董事长)
  9. 【转载】webstorm11(注册,激活,破解,码,一起支持正版,最新可用)(2016.11.16更新)
  10. xBIM WeXplorer
  11. 记录一次CentOS环境升级Python2.6到Python2.7并安装最新版pip
  12. 总结:Java 集合进阶精讲2-ArrayList
  13. asp一句话
  14. vue.js中内联样式style三元表达式
  15. unity无限循环报错的定位
  16. tmux 基本用法
  17. Python 爬虫实例(15) 爬取 百度百聘(微信公众号)
  18. 492. Construct the Rectangle
  19. myeclipse激活后server不能用问题
  20. vi全文替换命令

热门文章

  1. 像计算机科学家一样思考Python(第2版)|百度网盘免费下载|Python新手入门资料
  2. 扫描PDF417崩溃的原因找到:手机摄像头分辨率低
  3. phpbasic
  4. 手写 promies
  5. variable ans might not have been initialized 报错,以及初始化注意点
  6. PHP debug_zval_dump() 函数
  7. PHP is_finite() 函数
  8. 5.10 省选模拟赛 tree 树形dp 逆元
  9. 记502 dp专练
  10. 70道Spring面试题