分别用反射、编程接口的方式创建DataFrame

1、通过反射的方式使用反射来推断包含特定数据类型的RDD，这种方式代码比较少，简洁，只要你会知道元数据信息时什么样，就可以使用了

代码如下：

import org.apache.spark.sql.{SQLContext, SaveMode}

import org.apache.spark.{SparkConf, SparkContext}

object RDD2DataFrame {

  def main(args: Array[String]): Unit = {

    val conf = new SparkConf().setAppName("DF").setMaster("local")

    val sc = new SparkContext(conf)

    val sQLContext = new SQLContext(sc)

    //创建一个普通的RDD

    val rdd = sc.textFile("D:\\data\\spark\\students.txt")

   var rdd2= rdd.map(t=>{

      val lines = t.split(",")

      studented(lines(0).toInt,lines(1),lines(2).toInt)

    })

    //注意：需要导入隐式转换

    import sQLContext.implicits._

    val df = rdd2.toDF()

    //注册临时表

    df.registerTempTable("student")

    val dfs = sQLContext.sql("select name from student where age>18")

    dfs.write.mode(SaveMode.Append).text("D:\\result\\Rdd2DataFrame")

  }

}

case class studented(id:Int,name:String,age:Int)

2、通过编程接口的方式你可以自己动态的构建一份元数据，这种代码比较多，但是适合你不知道元数据的时候使用，一般都用这种方式

代码如下：

object RDD2DataFrame2 {

  def main(args: Array[String]): Unit = {

    val conf = new SparkConf().setAppName("df02").setMaster("local")

    val sc = new SparkContext(conf)

    val sqlContext = new SQLContext(sc)

    //val df = sqlContext.read.json("D:\\data\\spark\\students.json")

   val rdd = sc.textFile("D:\\data\\spark\\students.txt")

    val rowRdd = rdd.map(t => {

     val str = t.split(",")

      Row(str(0).toInt, str(1), str(2).toInt)

   })

    //构建StructType

    val structType = StructType(Array(StructField("id", IntegerType, true),

      StructField("name", StringType, true),

      StructField("age", IntegerType, true)

    ))

    //创建DataFrame

    val df: DataFrame = sqlContext.createDataFrame(rowRdd,structType)

    df.registerTempTable("stu")

    val sql = sqlContext.sql("select * from stu where age>17")

    sql.rdd.foreach(println)

  }

}

巴特西

分别用反射、编程接口的方式创建DataFrame

最新文章

热门文章