github上排名靠前的java项目之_storm
2024-08-25 01:50:18
1.和hadoop的比较
Storm: 分布式实时计算,强调实时性,常用于实时性要求较高的地方
Hadoop:分布式批处理计算,强调批处理,常用于数据挖掘、分析
2.Hadoop是实现了mapreduce的思想,将数据切片计算来处理大量的离线数据数据。hadoop处理的数据必须是已经存放在hdfs上或者类似hbase的数据库中,所以hadoop实现的时候是通过移动计算到这些存放数据的机器上来提高效率。
而storm不同,storm是一个流计算框架,处理的数据是实时消息队列中的,所以需要我们写好一个topology逻辑放在那,接收进来的数据来处理,所以是通过移动数据平均分配到机器资源来获得高效率。
hadoop每次map会将数据写入本地文件系统,然后在reduce的时候再读进来storm的优点是全内存计算,因为内存寻址速度是硬盘的百万倍以上,所以storm的速度相比较hadoop非常快(瓶颈是内存,cpu)。
最新文章
- Oracle11g的最佳灵活体系结构OFA
- [原创]Net实现Excel导入导出到数据库(附源码)
- PLSQL_PLSQL读和写CSV文件方式(案例)
- 关于css命名规范
- 逆向思维Stock Maximize
- poj3254Corn Fields题解
- C#中鼠标划过按钮时候的提示信息
- iOS二维码条形码的制作
- html 转义
- java 注意事项---避免踩坑
- LoadRunner【第三篇】录制脚本实践:订票网站
- python摸爬滚打之day030----进程
- sql语句应用
- js中字符串转数组,数组转字符串及逆序的方法
- Kibana简介及下载安装
- 蚂蚁金服“定损宝”现身AI顶级会议NeurIPS
- Opatch使用细则
- 【leetcode】290. Word Pattern
- python读取grib grib2气象数据
- JavaScript高级 面向对象(13)--构造函数的执行过程
热门文章
- 史上最全WebView使用,附送Html5Activity一份
- Android自定义Notification并没有那么简单
- TCP/IP协议原理与应用笔记02:断点续传
- Linux yum命令重装mysql
- 关于c++中的引用
- Eclipse 打开时“发现了以元素'd:skin'”开头的无效内容。此处不应含有子元素(转)
- 改进《完美让IE兼容input placeholder属性的jquery实现》的不完美
- Html禁止粘贴 复制 剪切
- CodeIgniter框架——介绍
- 五分钟看懂js关键字this