下载源码&编译:

git clone https://github.com/databricks/spark-avro.git
sbt/sbt package

Maven GAV:

groupId: com.databricks.spark
artifactId: spark-avro_2.10
version: 0.1

$SPARK_HOME/conf/spark-env.sh

export SPARK_CLASSPATH=/home/spark/software/source/spark_package/spark-avro/target/scala-2.10/spark-avro_2.-0.1.jar:$SPARK_CLASSPATH

测试数据下载:

wget https://github.com/databricks/spark-avro/raw/master/src/test/resources/episodes.avro 

Scala API:

import org.apache.spark.sql.SQLContext
val sqlContext = new SQLContext(sc)
import com.databricks.spark.avro._
val episodes = sqlContext.avroFile("file:///home/spark/software/data/episodes.avro")
import sqlContext._
episodes.select('title).collect()

SQL:

CREATE TEMPORARY TABLE episodes
USING com.databricks.spark.avro
OPTIONS (path "file:///home/spark/software/data/episodes.avro"); select * from episodes;

最新文章

  1. iOS通知的整理笔记
  2. 手机CPU和GPU厂商
  3. C#基础-关于用json给控制台程序传值的坑
  4. EntityFrameWork使用
  5. sqoop的命令行操作
  6. POI中getLastRowNum() 和getLastCellNum()的区别
  7. sequenza细胞纯度计算
  8. Linux命令之type
  9. spoj 665
  10. 看雪 安卓 dex文件
  11. Spring MVC源码分析(续)——请求处理
  12. LeetCode 二叉树后序遍历(binary-tree-postorder-traversal)
  13. Windows系统下Redis的安装
  14. InnoDB: ERROR: the age of the last checkpoint
  15. spring学习笔记2---MVC处理器映射(handlerMapping)三种方式(附源码)
  16. Android WebKit 内核
  17. DTO/DO等POJO对象的使用场景和 orika-mapper 框架的使用
  18. JQuery中的Ajax(六)
  19. gcc优化引起get_free_page比__get_free_page返回值多4096
  20. opsmanage 自动化运维管理平台

热门文章

  1. Notepad++前端开发常用插件介绍 - BorisHuai前端修炼 - 博客频道 - CSDN
  2. C# winform 右下角弹出窗口结果
  3. Networking in too much detail
  4. css布局实践总结(part2)
  5. 【NCDC数据】获取 hadoop权威指南3中的NCDC数据
  6. linux系统中rsync+inotify实现服务器之间文件实时同步
  7. TX Textcontrol 使用总结二——常见异常
  8. System.Data.SqlClient.SqlException.Number的所有错误值列表
  9. item30,最小的k个数
  10. 在Visual Studio 2010/2012中 找不到创建WebService的项目模板