目前Spark支持四种方式从数据库中读取数据，这里以Mysql为例进行介绍。

一、不指定查询条件

　　这个方式链接MySql的函数原型是：

1	def jdbc(url: String, table: String, properties: Properties): DataFrame

　　我们只需要提供Driver的url，需要查询的表名，以及连接表相关属性properties。下面是具体例子：

查看源代码打印帮助

1	val url = "jdbc:mysql://www.iteblog.com:3306/iteblog ?user=iteblog&password=iteblog"

2

3	val prop = new Properties()

4	val df = sqlContext. read.jdbc(url, "iteblog", prop )

5

6	println(df.count())

7	println(df. rdd.partitions.size)

　　我们运行上面的程序，可以看到df.rdd.partitions.size输出结果是1，这个结果的含义是iteblog表的所有数据都是由RDD的一个分区处理的，所以说，如果你这个表很大，很可能会出现OOM

最新文章

1. BZOJ 3489: A simple rmq problem
2. JVM:查看java内存情况命令
3. ETL利器Kettle
4. MD5加密操作
5. 包含文件函数include与require的区别
6. 在64位windows下使用instsrv.exe和srvany.exe创建windows服务
7. Windows下Nginx的启动、停止等命令（转）
8. ASP.NET网络编程之-HTTP协议
9. System.Web.HttpException: 无法向会话状态服务器发出会话状态请求
10. Java Base64、AES、SHA1、MD5加密算法（转载）
11. Nodejs的运行原理-架构篇
12. 痞子衡嵌入式：常用的数据差错控制技术（1）- 重复校验(Repetition Code)
13. Docker:镜像构建与进入容器总结
14. 【python】并查集
15. c扩展开发
16. killl prefix out macro mis mal micro -m
17. 【BZOJ 2986】 莫比乌斯函数+容斥原理
18. JNDI数据源（在Tomcat下配置JNDI多数据源实例）
19. Java 7 新增功能
20. ghostscript 远程命令执行漏洞复现

热门文章

1. macbook使用“终端”远程登录linux主机
2. spring和hibernate整合，事务管理
3. 深入Activity
4. 环境搭建基础知识2(sublime text3中配置verilog语法高亮)
5. UVA812-Trade on Verweggistan(暴力)
6. CCNA2.0笔记_OSI模型
7. Python操作Word批量生成文章
8. c# 中的UserControl是什么 用户控件和自定义控件有什么区别
9. javascript存储器属性与数据属性
10. 通过某个进程号显示该进行打开的文件 lsof -p 1 11. 列出多个进程号对应的文件信息 lsof -p 123,456,789 5. 列出某个用户打开的文件信息 lsof -u username