package cn.spark.study.streaming;

import java.util.Arrays;

import org.apache.spark.SparkConf;

import org.apache.spark.api.java.function.FlatMapFunction;

import org.apache.spark.api.java.function.Function2;

import org.apache.spark.api.java.function.PairFunction;

import org.apache.spark.streaming.Durations;

import org.apache.spark.streaming.api.java.JavaDStream;

import org.apache.spark.streaming.api.java.JavaPairDStream;

import org.apache.spark.streaming.api.java.JavaReceiverInputDStream;

import org.apache.spark.streaming.api.java.JavaStreamingContext;

import scala.Tuple2;

/**

 * 实时wordcount程序

 * @author Administrator

 *

 */

public class WordCount {

    public static void main(String[] args) throws Exception {

        // 创建SparkConf对象

        // 但是这里有一点不同，我们是要给它设置一个Master属性，但是我们测试的时候使用local模式

        // local后面必须跟一个方括号，里面填写一个数字，数字代表了，我们用几个线程来执行我们的

        // Spark Streaming程序

        SparkConf conf = new SparkConf()

                .setMaster("local[2]")

                .setAppName("WordCount");  

        // 创建JavaStreamingContext对象

        // 该对象，就类似于Spark Core中的JavaSparkContext，就类似于Spark SQL中的SQLContext

        // 该对象除了接收SparkConf对象对象之外

        // 还必须接收一个batch interval参数，就是说，每收集多长时间的数据，划分为一个batch，进行处理

        // 这里设置一秒

        JavaStreamingContext jssc = new JavaStreamingContext(conf, Durations.seconds(1));

        // 首先，创建输入DStream，代表了一个从数据源（比如kafka、socket）来的持续不断的实时数据流

        // 调用JavaStreamingContext的socketTextStream()方法，可以创建一个数据源为Socket网络端口的

        // 数据流，JavaReceiverInputStream，代表了一个输入的DStream

        // socketTextStream()方法接收两个基本参数，第一个是监听哪个主机上的端口，第二个是监听哪个端口

        JavaReceiverInputDStream<String> lines = jssc.socketTextStream("localhost", 9999);

        // 到这里为止，你可以理解为JavaReceiverInputDStream中的，每隔一秒，会有一个RDD，其中封装了

        // 这一秒发送过来的数据

        // RDD的元素类型为String，即一行一行的文本

        // 所以，这里JavaReceiverInputStream的泛型类型<String>，其实就代表了它底层的RDD的泛型类型

        // 开始对接收到的数据，执行计算，使用Spark Core提供的算子，执行应用在DStream中即可

        // 在底层，实际上是会对DStream中的一个一个的RDD，执行我们应用在DStream上的算子

        // 产生的新RDD，会作为新DStream中的RDD

        JavaDStream<String> words = lines.flatMap(new FlatMapFunction<String, String>() {

            private static final long serialVersionUID = 1L;

            @Override

            public Iterable<String> call(String line) throws Exception {

                return Arrays.asList(line.split(" "));

            }

        });

        // 这个时候，每秒的数据，一行一行的文本，就会被拆分为多个单词，words DStream中的RDD的元素类型

        // 即为一个一个的单词

        // 接着，开始进行flatMap、reduceByKey操作

        // PairFunction<String, String, Integer> 第一个String是接受类型，后面的String Integer是返回类型

        // JavaPairDStream<String, Integer>中的String Integer也是返回类型

        JavaPairDStream<String, Integer> pairs = words.mapToPair(

                new PairFunction<String, String, Integer>() {

                    private static final long serialVersionUID = 1L;

                    @Override

                    public Tuple2<String, Integer> call(String word)

                            throws Exception {

                        return new Tuple2<String, Integer>(word, 1);

                    }

                });

        // 这里，正好说明一下，其实大家可以看到，用Spark Streaming开发程序，和Spark Core很相像

        // 唯一不同的是Spark Core中的JavaRDD、JavaPairRDD，都变成了JavaDStream、JavaPairDStream

        JavaPairDStream<String, Integer> wordCounts = pairs.reduceByKey(

                new Function2<Integer, Integer, Integer>() {

                    private static final long serialVersionUID = 1L;

                    @Override

                    public Integer call(Integer v1, Integer v2) throws Exception {

                        return v1 + v2;

                    }

                });

        // 到此为止，我们就实现了实时的wordcount程序了

        // 总结一下思路，加深一下印象

        // 每秒钟发送到指定socket端口上的数据，都会被lines DStream接收到

        // 然后lines DStream会把每秒的数据，也就是一行一行的文本，诸如hell world，封装为一个RDD

        // 然后呢，就会对每秒中对应的RDD，执行后续的一系列的算子操作

        // 比如，对lins RDD执行了flatMap之后，得到一个words RDD，作为words DStream中的一个RDD

        // 以此类推，直到生成最后一个，wordCounts RDD，作为wordCounts DStream中的一个RDD

        // 此时，就得到了，每秒钟发送过来的数据的单词统计

        // 但是，一定要注意，Spark Streaming的计算模型，就决定了，我们必须自己来进行中间缓存的控制

        // 比如写入redis等缓存

        // 它的计算模型跟Storm是完全不同的，storm是自己编写的一个一个的程序，运行在节点上，相当于一个

        // 一个的对象，可以自己在对象中控制缓存

        // 但是Spark本身是函数式编程的计算模型，所以，比如在words或pairs DStream中，没法在实例变量中

        // 进行缓存

        // 此时就只能将最后计算出的wordCounts中的一个一个的RDD，写入外部的缓存，或者持久化DB

        // 最后，每次计算完，都打印一下这一秒钟的单词计数情况

        // 并休眠5秒钟，以便于我们测试和观察

        Thread.sleep(5000);

        wordCounts.print();

        // 首先对JavaSteamingContext进行一下后续处理

        // 必须调用JavaStreamingContext的start()方法，整个Spark Streaming Application才会启动执行

        // 否则是不会执行的

        jssc.start();

        //等待执行停止,执行过程中发生的任何异常将在此线程中抛出

        jssc.awaitTermination();

        jssc.close();

    }

}

package cn.spark.study.streaming

import org.apache.spark.SparkConf

import org.apache.spark.streaming.Seconds

import org.apache.spark.streaming.StreamingContext

/**

 * @author Administrator

 */

object WordCount {

  def main(args: Array[String]): Unit = {

    val conf = new SparkConf().setMaster("local[2]").setAppName("WordCount")

    val ssc = new StreamingContext(conf, Seconds(1))

    val lines = ssc.socketTextStream("localhost", 9999)

    val words = lines.flatMap { _.split(" ") }

    val pairs = words.map { word => (word, 1) }

    val wordCounts = pairs.reduceByKey(_ + _)  

    Thread.sleep(5000)

    wordCounts.print()  

    ssc.start()

    ssc.awaitTermination()

  }

}

有两种创建StreamingContext的方式：

val conf = new SparkConf().setAppName(appName).setMaster(master);

val ssc = new StreamingContext(conf, Seconds(1));

StreamingContext，还可以使用已有的SparkContext来创建

val sc = new SparkContext(conf)

val ssc = new StreamingContext(sc, Seconds(1));

appName，是用来在Spark UI上显示的应用名称。master，是一个Spark、Mesos或者Yarn集群的URL，或者是local[*]。

batch interval可以根据你的应用程序的延迟要求以及可用的集群资源情况来设置。

一个StreamingContext定义之后，必须做以下几件事情：

1、通过创建输入DStream来创建输入数据源。

2、通过对DStream定义transformation和output算子操作，来定义实时计算逻辑。

3、调用StreamingContext的start()方法，来开始实时处理数据。

4、调用StreamingContext的awaitTermination()方法，来等待应用程序的终止。可以使用CTRL+C手动停止，或者就是让它持续不断的运行进行计算。

5、也可以通过调用StreamingContext的stop()方法，来停止应用程序。

需要注意的要点：

1、只要一个StreamingContext启动之后，就不能再往其中添加任何计算逻辑了。比如执行start()方法之后，还给某个DStream执行一个算子。

2、一个StreamingContext停止之后，是肯定不能够重启的。调用stop()之后，不能再调用start()

3、一个JVM同时只能有一个StreamingContext启动。在你的应用程序中，不能创建两个StreamingContext。

4、调用stop()方法时，会同时停止内部的SparkContext，如果不希望如此，还希望后面继续使用SparkContext创建其他类型的Context，

比如SQLContext，那么就用stop(false)。

5、一个SparkContext可以创建多个StreamingContext，只要上一个先用stop(false)停止，再创建下一个即可。