hadoop技术产生
2024-09-01 13:16:34
一、为什么有大数据
我的理解是:
1)数据量达到了传统数据库的瓶颈
2)数据量的激增
3)硬件成本的降低 [ 技术水平的上升 ]
4)想通过大量的数据发现潜在的商业价值
二、什么是大数据
大数据指的是:无法在可承受时间内用常规的软件工具 [ 传统数据库 ] 对其内容进行抓取、管理和处理的数据集合。也可以理解为 大数据=“海量的数据”+“复杂的数据类型”
三、大数据的技术框架
Hadoop相关的技术
计算框架:MapReduce
资源管理:YARN
存储依赖:HDFS
数据采集:Flume
数据的缓存:Kafka
离线处理:Hive
实时处理:Storm、HBase
协调者:ZooKeeper
... ...
Spark相关的技术
Spark Core
Spark SQL
Spark Streaming
Spark MLlib
Graphx
四、大数据的作用及前景
作用:海量数据的存储,挖掘数据潜在的商业价值,精准营销,路况分析等
前景:智能家居,远程教育(贫困山区),远程医疗等
最新文章
- JS实现自适应宽度的Tag切换
- java nio(non-blocking io)简介及和io
- SQL中 EXCEPT、INTERSECT用法
- 常用mysql笔记
- thinkphp连接mysql5.5版本数据库
- Poco::TCPServer框架解析
- Visual Studio Code中文文档
- 事后诸葛亮分析(Beta版本)
- Centos7解决图形界面卡死问题
- Windows7安装 docker-compose的过程
- php框架之thinkphp
- 【原创】新说Mysql事务隔离级别
- win32程序之子窗口编程
- recovery 下界面UI旋转90 180 270修改
- 10分钟了解Android的事件分发
- 班级作业:Java Web环境的搭建
- 第 8 章 容器网络 - 059 - 安装配置 flannel
- MYSQL一次千万级连表查询优化(一)
- 【UOJ#67】新年的毒瘤(Tarjan)
- 带监督的文本分类算法FastText
热门文章
- Centos7升级内核后无法启动解决办法
- Ceph的参数mon_osd_down_out_subtree_limit细解
- nginx配置代理缓存
- 深入理解h2和r2dbc-h2
- Html+css 一个简单的网页模板
- 建议收藏,从零开始创建一个Activiti工作流,手把手教你完成
- Redis未授权访问漏洞复现与利用
- day94:flask:Jinjia2模板引擎&;flask中的CSRF攻击&;Flask-SQLAlchemy的创建模型类和基本的增删改查
- 死磕以太坊源码分析之p2p节点发现
- IntelliJ IDEA 2019.1.3 x64 简约基本配置