一.IDEA装驱动:

1.下载一个MySQL的JDBC驱动:mysql-connector-java-5.1.44.tar.gz
2.在idea Open Moudle Settings 在 Moudle中   选Dependencies + JDC驱动的解压位置 选(mysql-connector-java-5.1.44-bin)这个就ok

二.程序:

import java.util.Properties

import com.sun.org.apache.xalan.internal.xsltc.compiler.util.IntType
import org.apache.spark.sql.types._
import org.apache.spark.sql.{Row, SparkSession} object JDBC_To_DF {
val spark= SparkSession.builder().getOrCreate()
import spark.implicits._
def main(args: Array[String]): Unit = { val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysql://localhost:3306/***") //*****这是数据库名
.option("driver", "com.mysql.jdbc.Driver").option("dbtable", "****")//*****是表名
.option("user", "*****").option("password", "*****").load()
jdbcDF.show() val studentRDD=spark.sparkContext.parallelize(Array("3 小翠 G 27","4 小狗蛋 B 50"))
.map(x=>x.split(" "))
val ROWRDD=studentRDD.map(x=>Row(x().toInt,x().trim,x().trim,x().toInt))
ROWRDD.foreach(print)
//设置模式信息
val schema=StructType(List(StructField("id",IntegerType,true),StructField("name",StringType,true),StructField("gender",StringType,true),StructField("age", IntegerType, true))) val studentDF=spark.createDataFrame(ROWRDD,schema) val parameter=new Properties()
parameter.put("user","****")
parameter.put("password","****")
parameter.put("driver","com.mysql.jdbc.Driver")
studentDF.write.mode("append").jdbc("jdbc:mysql://localhost:3306/******","/*/*/*/*/*",parameter) //******"是数据库名,/*/*/*/*/*表名
jdbcDF.show()
}
}

结果:

+---+----+------+---+
| id|name|gender|age|
+---+----+------+---+
|  1|  小周|     B| 25|
|  2|  小苏|     G| 27|
|  3|  小翠|     G| 27|
|  4| 小狗蛋|     B| 50|
|  3|  小翠|     G| 27|
|  4| 小狗蛋|     B| 50|
+---+----+------+---+

最新文章

  1. Node.js写文件的三种方法
  2. shell九九乘法表
  3. 【转】Linux下apache/httpd服务启动与停止
  4. JAVA 设计模式 命令模式
  5. 第八章:Java集合
  6. Java for LeetCode 211 Add and Search Word - Data structure design
  7. Struts2 报 Result 错误
  8. 团队项目SCRUM项目6.0 7.0
  9. Pike学习笔记
  10. leetcode面试准备: Substring with Concatenation of All Words
  11. tungsten
  12. PHP MySQL Delete From 之 Delete
  13. 在OpenCV中利用鼠标绘制矩形和截取图像的矩形区域
  14. centos7中yum安装ntfs-3g
  15. APP软件半成品测试技巧
  16. java基础知识及详细笔记
  17. 实践作业2:黑盒测试实践——安装配置测试工具 Day 3
  18. Mego(05) - Mego for Visual Studio Extension
  19. Codeforces Round #436 (Div. 2)C. Bus 模拟
  20. 006-优化web请求二-应用缓存、异步调用【Future、ListenableFuture、CompletableFuture】、ETag、WebSocket【SockJS、Stomp】

热门文章

  1. 小程序 textarea ios兼容解决
  2. Manacher算法(马拉车算法)浅谈
  3. 用Python实现阿里钉钉机器人读取数据库内容自动发群通知
  4. Literature Review on Tidal Turbine
  5. [luoguP1076] 寻宝(模拟)
  6. 利用python进行数据分析--(阅读笔记一)
  7. 稍微成型点的用WEBSOCKET实现的实时日志LOG输出
  8. 工作流框架Activiti
  9. 8、Java并发性和多线程-静态条件与临界区
  10. iOS xmpp协议实现聊天之openfire的服务端配置(二)