H2O框架简介
H2O框架简介
H2O是开源的,分布式的,基于内存的,可扩展的机器学习和预测分析框架,适合在企业环境中构建大规模机器学习模型。
H2O核心代码使用Java编写,数据和模型通过分布式 Key/Value 存储在各个集群节点的内存中。H2O的算法使用Map/Reduce框架实现,并使用了Java Fork/Join框架来实现多线程。
H2O目前支持的机器学习算法有DRF,GBM,GLM,GLRM,Kmeans,NB,PCA,Deep Learning,所以目前来看支持的模型还不是很多。
H2O软件栈:
架构图最上层表示与H2O通信的Rest API客户端,它们之间通过socket连接。最下层表示可以运行JVM 进程的基础架构。中间灰色部分是用户的一些算法。
H2O读取数据
1.R用户调用importFile()函数
2.R客户端告诉集群要读数据
3.以分布式H2O Frame的格式从HDFS返回数据
CPU管理
job:创建一个任务就是一个job
MRTask: H2O基于内存的Map/Reduce任务,与hadoop Map/Reduce任务稍有不同
Fork/Join:task执行框架
Memory管理
Fluid Vector Frame:暴露给用户的基本数据单元
Distributed K/V store:在集群中通过此种方式存储
Non-blocking Hash Map:在K/V实现中使用
原文:https://blog.csdn.net/Yaphat/article/details/52891133
H2O学习笔记:
https://blog.csdn.net/yaphat/article/category/6476184
安装和建模指导:
https://cloud.tencent.com/developer/article/1420651
最新文章
- C语言中关于POW在不同状态下四舍五入的解决方法
- asp.net ajax与jquery的冲突问题解决
- Android Gradle 技巧之二: 最爱命令行
- jquery 数组求差集,并集
- IRS-P6数据介绍
- FTP被动模式无法被传统CDN模式加速
- 看到的一些js小知识
- zTree的调用设使用(跨两个系统,两类技术实现的项目案例SpringMVC+Spring+MyBatis和Struts2+Spring+ibatis框架组合)
- oi回忆录
- .NET 开源项目 Polly 介绍
- weblogic10.3 启动报错 Unrecognized option: -jrockit Error: Could not create the Java Virtual Machine
- vue-i18n使用ES6语法以及空格换行问题
- 模仿CountDownLatch类自定义倒时计时器
- Android ffmpeg rtmp(source code)
- 快速幂取模(POJ 1995)
- PHPStorm自定义主题配置
- ubuntu14.04中安装jdk
- Spring 集合注入
- python基础(数字、字符串、布尔值、字典数据类型简介)
- PHP文件操作(二)-文件的读取
热门文章
- angular-cli 引入ui组件库
- 【leetcode】513.Find Bottom Left Tree Value
- Computer Vision_33_SIFT:LIFT: Learned Invariant Feature Transform——2016
- 元类编程--__get__ __set__属性描述符
- 异常-Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=hdfs, access=WRITE, inode=";/hbase";:root:supergroup:drwxr-xr-x
- 提速1000倍,预测延迟少于1ms,百度飞桨发布基于ERNIE的语义理解开发套件
- PAT_B 20
- jquery基础知识2
- 《ABCD组》实验十一 团队作业7:团队项目设计完善&;编码
- MLP多层感知机