这篇博客 是在Scala IDEA for Eclipse里手动创建scala代码编写环境. Scala IDE for Eclipse的下载.安装和WordCount的初步使用(本地模式和集群模式) 本博文,教大家,用maven来创建. 第一步:安装scala插件 因为,我win7下的scala环境是2.10.4 所以,选择下载的是,这个 下载好之后,解压缩以后把plugins和features复制到eclipse目录,重启eclipse以后即可. 重启eclipse以后即可. 然后, Win

正文 首先打开spark官网,找一个自己用版本我选的是1.6.3的,然后进入SparkStreaming   ,通过搜索这个位置找到Kafka, 点击过去会找到一段Scala的代码 import org.apache.spark.streaming.kafka._ val kafkaStream = KafkaUtils.createStream(streamingContext, [ZK quorum], [consumer group id], [per-topic number of Ka

今天学习spring的时候,学到了springMVC, 因为springMVC 就是beginning spring 书籍的第三章,为了更深入或更简单的起步学习springMVC, 我又找了另外一本书籍, Spring MVC Beginners Guide (2nd Edition),  这本书的开始确实比较简单,就是安装jdk, maven, tomact, 还有就是安装IDE, 他用的IDE 是Spring Tool Suite. 我就到spring 的官网也下载了它,最新的版本是4 (S

本章将介绍如何在Scala编程中使用类和对象.类是对象的蓝图(或叫模板).定义一个类后,可以使用关键字new来创建一个类的对象. 通过对象可以使用定义的类的所有功能. 下面的图通过一个包含成员变量(name 和 rollNo)和成员方法(setName()和setRollNo())的Student类的例子来演示类和对象.最后都是类的成员.类是一个模板的东西,而对象是真实存在的. 在下图中,Student是一个类,而具体学生:Harini, John, 和 Maria 是学生类的对象,这此对象有是

目录结构: contents structure [+] 1,Maven简介 2,Maven安装 2.1,下载Maven 2.2,配置环境变量 2.3,测试 3,Maven仓库 3.1,Maven仓库的工作原理 3.2,修改Maven本地仓库 3.3,使用阿里云的Maven仓库 4,Eclipse和Maven整合的配置 5,Eclispe中创建Maven项目 5.1,在Eclispe中使用Maven搭建Spring MVC 6,Eclipse中使用MAVEN管理的Web分布式开发 6.1,创建父

Scala可以安装在任何基于UNIX/Linux或基于Windows的系统上.在您的机器上开始安装Scala之前,必须在计算机上安装Java 1.8或更高版本. 下面请按照以下步骤安装Scala. 步骤1:安装Java 首先,您需要在系统上安装Java软件开发工具包(SDK).要验证是否已经安装了Java,请根据您正在使用的操作系统平台,执行以下两个命令 - 对于Linux/Unix系统 - $java –version 对于Windows系统(打开命令提示符) - C:\Users\Admin

数组操作 初始化固定长度的数组 // 初始化长度为10的数组 val array = new Array[Int](10) // 初始化创建含有hello与Scala的数组 val s = Array("hello","scala") 创建可变的数组(类似java的集合) Scala中创建长度可变的数组,类似与java中的ArrayList一样Scala提供了ArrayBuffer,下面是ArrayBuffer的用法: // 创建集合等同于下面的new ArrayB

Scala的变量声明 在Scala创建变量的时候,必须使用val或者var val,变量值不可修改,一旦分配不能重新指向别的值 var,分配后,可重新指向类型相同的值 举例 val lines = sc.textFile("helloSpark.txt") lines = sc.textFile("helloSpark2.txt") 是错的 var lines2 = sc.textFile("helloSpark.txt") lines2 = s

9.1 隐式转换 9.1.1 提出问题 先看一个案例演示,引出隐式转换的实际需要=>指定某些数据类型的相互转化 object boke_demo01 { def main(args: Array[String]): Unit = { val num: Int = 3.5 //?错 高精度->低精度 println(num) } } 9.1.2 隐式函数基本介绍 隐式转换函数是以implicit关键字声明的带有单个参数的函数,这种函数将会自动应用,将值从一种类型转换为另一种类型 9.1.3 隐式

7.1 包 7.1.1 看一个应用场景 现在有两个程序员共同开发一个项目,程序员xiaoming希望定义一个类取名Dog,程序员xiaohong也想定一个类也叫Dog,两个程序员还为此吵了起来,该怎么办? --->使用包即可解决这个问题 7.1.2 回顾-Java包的三大作用 1) 区分相同名字的类 2) 当类很多时,可以很好的管理类 3) 控制访问范围 7.1.3 回顾-Java打包命令 -打包基本语法 package com.c; -打包的本质分析 实际上就是创建不同的文件夹来保存类文件 7

(1)Scala中创建多行字符串使用Scala的Multiline String. 在Scala中,利用三个双引号包围多行字符串就可以实现. 代码实例如: val foo = """a bc d""" 运行结果为: a bc d (2) 上述方法存在一个缺陷问题,输入的内容,带有空格.\t之类,导致每一行的开始位置不能整洁对齐. 而在实际应用场景下,有时候我们就是确实需要在scala创建多少字符串,但是每一行需要固定对齐. 解决该问题的方法就是应

java # 创建断点(支持条件断点) curl -X PUT -H "Content-Type:application/json" --data '{"language":"java","condition":"i == 1","charStart":283,"charEnd":307,"lineNumber":16,"typeName

环境须知: ubuntu 16.04 scala 2.11.0 jdk 1.8.0 Idea 2016.3 JDK环境安装 (1)安装jdk, 注意scala很好的支持jdk 1.8 的jvm 编译环境,最好安装jdk 1.8 如果软件源中没有jdk 1.8 可以去java的官网下载 点击打开链接 sudo apt-get install openjdk-8-jre openjdk-8-jdk (2)配置环境bash vim ~/.bashrc # 在其中头部添加如下内容,如果是自己从官网下载的

[TOC] Spark简介 整体认识 Apache Spark是一个围绕速度.易用性和复杂分析构建的大数据处理框架.最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一. Spark在整个大数据系统中处于中间偏上层的地位,如下图,对hadoop起到了补充作用: 基本概念 Fork/Join框架是Java7提供了的一个用于并行执行任务的框架, 是一个把大任务分割成若干个小任务,最终汇总每个小任务结果后得到大任务结果的框架. 第一步分割任务.首先我们需

更新apt 用 hadoop 用户登录后,我们先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了.按 ctrl+alt+t 打开终端窗口,执行如下命令: sudo apt-get update 若出现如下 "Hash校验和不符" 的提示,可通过更改软件源来解决.若没有该问题,则不需要更改.从软件源下载某些软件的过程中,可能由于网络方面的原因出现没法下载的情况,那么建议更改软件源.在学习Hadoop过程中,即使出现"Hash校验和不符"

背景 近期在研究使用java api的方式来调用Spark程序,通过句柄的方式来完成监控Job运行状态.及时杀死Job等功能.官方文档直接指出使用Java/Scala创建Job的方式——利用SparkLauncher类. 环境:Hadoop2.6:Spark 1.6 SparkLauncher类概览 该类通过主要包含一些设置Spark Job参数相关的成员变量与函数,另外,还包括启动Spark Job的两个函数(launch()和startApplication()). 其中,launch()函

8.Hadoop输入输出格式 除了 Spark 封装的格式之外,也可以与任何 Hadoop 支持的格式交互.Spark 支持新旧两套Hadoop 文件 API,提供了很大的灵活性. 要使用新版的 Hadoop API 读入一个文件,需要告诉 Spark 一些东西. newAPIHadoopFile接收一个路径以及三个类.第一个类是“格式”类,代表输入格式.相似的函数hadoopFile() 则用于使用旧的 API 实现的 Hadoop 输入格式.第二个类是键的类,最后一个类是值的类.如果需要设定

1.基础环境搭建 1.1运行环境说明 1.1.1硬软件环境 主机操作系统:Windows 64位,四核8线程,主频3.2G,8G内存 虚拟软件:VMware Workstation Pro 虚拟机操作系统:CentOS7 64位,单核,2G内存 1.1.2集群网络环境 集群包含三个节点,节点之间可以免密码SSH访问,节点IP地址和主机名分布如下: 序号 IP地址 机器名 核数/内存 用户名 1 192.168.1.61 hadoop1 1核/2G hadoop 2 192.168.1.62 ha

Spark 简介 行业广泛使用Hadoop来分析他们的数据集.原因是Hadoop框架基于一个简单的编程模型(MapReduce).这里,主要关注的是在处理大型数据集时在查询之间的等待时间和运行程序的等待时间方面保持速度. Hadoop只是实现Spark的方法之一.Spark以两种方式使用Hadoop - 一个是存储,另一个是处理.由于Spark具有自己的集群管理计算,因此它仅使用Hadoop进行存储. Apache Spark是一种快速的集群计算技术,专为快速计算而设计.它基于Hadoop Ma

Scala 简介 它是一门基于JVM的面向函数和面向对象的编程语言, 它包含了求值表达式,闭包,切片操作,模式匹配,隐式转换等特性. 可变量/不可变量 可变集合/不可变集合.集合操作 函数 值函数 求值表达式 函数柯里化 偏部分应用函数 偏函数 闭包 类(封装.继承.多态) 特质 单例类 伴生单例 模式匹配(_, * , reg) 隐匿转换 Scala 安装 环境 服务器:ubuntu-16.04.3-desktop-amd64.iso 我们将要安装的Scala版本是2.10.7, 确保你本地以

Spark核心编程 Spark 核心是整个项目的基础.它提供了分布式任务调度,调度和基本的 I/O 功能.Spark 使用一种称为RDD(弹性分布式数据集)一个专门的基础数据结构,是整个机器分区数据的逻辑集合.RDDS可以用两种方法来创建的;一个是在外部存储系统引用的数据集,第二个是通过应用转换(如map, filter, reducer, join)在现有RDDS. RDD抽象通过语言集成API公开.这简化了编程的复杂性,因为应用程序的处理RDDS方式类似于操纵的本地集合数据. Spark S