Apache Spark MLlib是Apache Spark体系中重要的一块拼图:提供了机器学习的模块。只是,眼下对此网上介绍的文章不是非常多。拿KMeans来说,网上有些文章提供了一些演示样例程序,而这些程序基本和Apache Spark 官网上的程序片断类似:在得到训练模型后,差点儿都没有展示怎样使用该模型、程序运行流程、结果展示以及举例測试数据等部分。

笔者依据Apache Spark官网上的程序片断。写了一个完整的调用MLlib KMeans库的測试程序,并成功在Spark 1.0 + Yarn 2.2
的环境上运行。因为仅为高速体验目的。本程序里面的非常多细节并未被打磨,但相信已可为对Spark MLlib感兴趣的朋友们提供些许入门级帮助。

[A. 程序主要部分]

[B. 測试数据]

[C. 运行]

利用 ${SPARK_HOME}/bin/spark-submit 将程序提交给Yarn去运行。

[D. 结果]

- Console 返回的结果(最后几行):

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc2FtaGFja2Vy/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

- Yarn Web Console返回的运行结果:

- Yarn Log 中显示 Scala 程序的Output:

[E. 总结]

- 调用 Spark MLlib 库的过程并不复杂

- 利用MLlib KMeans 训练出来的 Model(KMeansModel),能够方便地对新的数据作出分类预測

最新文章

  1. 关于TCP中的MSS
  2. C, C#, AS3的变量
  3. Js获取下拉框当前选择项的文本和值
  4. ASP.NET MVC中使用事务写法
  5. Qt的Qss样式
  6. Agile.Net 组件式开发平台 - 系统文档中心
  7. Android 内核初识(8)Binder
  8. 转-SecureCRT设置
  9. POJ1017 packets
  10. Leetcode 171 Excel Sheet Column Number python
  11. Java配置
  12. mysql事务和锁InnoDB(转)
  13. Maven详解(八)------ 继承和聚合
  14. Halcon常用算子02
  15. sql2012包含数据库,快速生成用户tsql脚本
  16. 单调队列&单调栈
  17. URL List by Category
  18. django学习之——我的 Hello World
  19. linux shell 重定向中的 & 符号
  20. mysql group replication 主节点宕机恢复

热门文章

  1. linux 和 ecos 内核线程创建/信号量/event等对比
  2. 如何在Blog中使用feedburner管理RSS订阅
  3. java中的CAS
  4. Delphi捕捉DLL执行所抛出的异常。
  5. BMS 项目过程中遇到的问题
  6. WCF中修改接口或步骤名称而不影响客户端程序
  7. Node.js 创建第一个应用
  8. LightOJ 1074 Extended Traffic SPFA 消负环
  9. oracle删掉重复数据的语法
  10. [Buffalo]ASP.NET MVC路由映射