day1--大数据概念,hadoop介绍,hdfs整体运行机制
1、什么是大数据
基本概念
在互联网技术发展到现今阶段,大量日常、工作等事务产生的数据都已经信息化,人类产生的数据量相比以前有了爆炸式的增长,以前的传统的数据处理技术已经无法胜任,需求催生技术,一套用来处理海量数据的软件工具应运而生,这就是大数据!
换个角度说,大数据是:
1、有海量的数据
2、有对海量数据进行挖掘的需求
3、有对海量数据进行挖掘的软件工具(hadoop、spark、storm、flink、tez、impala......)
大数据在现实生活中的具体应用
电商推荐系统:基于海量的浏览行为、购物行为数据,进行大量的算法模型的运算,得出各类推荐结论,以供电商网站页面来为用户进行商品推荐
精准广告推送系统:基于海量的互联网用户的各类数据,统计分析,进行用户画像(得到用户的各种属性标签),然后可以为广告主进行有针对性的精准的广告投放
2、什么是hadoop
hadoop中有3个核心组件:
分布式文件系统:HDFS —— 实现将文件分布式存储在很多的服务器上
分布式运算编程框架:MAPREDUCE —— 实现在很多机器上分布式并行运算
分布式资源调度平台:YARN —— 帮用户调度大量的mapreduce程序,并合理分配运算资源
3、hdfs整体运行机制
hdfs:分布式文件系统
hdfs有着文件系统共同的特征:
1、有目录结构,顶层目录是: /
2、系统中存放的就是文件
3、系统可以提供对文件的:创建、删除、修改、查看、移动等功能
hdfs跟普通的单机文件系统有区别:
1、单机文件系统中存放的文件,是在一台机器的操作系统中
2、hdfs的文件系统会横跨N多的机器
3、单机文件系统中存放的文件,是在一台机器的磁盘上
4、hdfs文件系统中存放的文件,是落在n多机器的本地单机文件系统中(hdfs是一个基于linux本地文件系统之上的文件系统)
hdfs的工作机制:
1、客户把一个文件存入hdfs,其实hdfs会把这个文件切块后,分散存储在N台linux机器系统中(负责存储文件块的角色:data node)<准确来说:切块的行为是由客户端决定的>
2、一旦文件被切块存储,那么,hdfs中就必须有一个机制,来记录用户的每一个文件的切块信息,及每一块的具体存储机器(负责记录块信息的角色是:name node)
3、为了保证数据的安全性,hdfs可以将每一个文件块在集群中存放多个副本(到底存几个副本,是由当时存入该文件的客户端指定的)
综述:一个hdfs系统,由一台运行了namenode的服务器,和N台运行了datanode的服务器组成!
最新文章
- 响应式布局susy框架之入门学习篇
- leetcode 152. Maximum Product Subarray --------- java
- 7-wonders-in-java
- C# 3.0 LINQ to XML
- KeilC51使用详解 (三)
- 一个关于导出excel模板的实例
- 加密传输SSL协议5_Hash Function
- 七牛整合 ueditor (拦住那头牛,七牛又如何)
- C语言编程练习(一)
- python中的协程及实现
- 在Unity中实现小地图(Minimap)
- canvas-5Bezier-QuadraticCurveTo.html
- 先埋锅-CF-Valid BFS?-差一点没交上
- CSS :invalid 选择器
- Jscraft 使用 Shell 与预先加载别名混合使用
- 深度学习中 epoch,[batch size], iterations概念解释
- 解决input 有多少个radio绑定change事件,手动触发就会执行多少次问题
- JavaScript第五天之数组
- [CSAPP] The Unicode Standard for text coding
- 简单的SpringCloud 熔断Hystrix
热门文章
- jQuery 的DOM操作
- ERROR 1 (HY000): Can&#39;t create/write to file &#39;/tmp/#sql_830_0.MYI&#39; (Errcode: 13)
- codeforces_1066_B.Heaters
- Laravel数据库测试的另一种方案-SQLite
- ruby on rails使用gmail的smtp发送邮件
- virtualenvwrapper.sh: There was a problem running the initialization hooks. If Python could not import the module virtualenvwrapper.hook_loader, check that virtualenvwrapper.........(解决办法)
- python之抽象 2014-4-6
- poj 3648 2-sat 输出任意一组解模板
- hdu 1075
- es6常用语法和特性