【大数据-课程】高途-天翼云侯圣文-Day1:互联网大数据揭秘(大数据介绍&MR实现双十一举牌)
2024-09-08 15:17:31
一、大厂职级
P7:年薪百万
二、大数据发展
1、职业路线和岗位角色
2、大数据行业发展
三、大数据的位置
1、热门行业
大数据承上启下
2、三者关系
啤酒和尿不湿:启发可以放在一块
3、大数据作用
杀熟:卖东西卖的贵
反杀熟:卸载自己软件,安装其他软件,推送
四、大数据理解
1、数据时代
IT-DT
2、大数据特征
ZB,世界所有体量,大概44ZB
真实性:数据ETL清洗
3、表现形式
半结构化
非结构化
4、处理方式
处理
流处理
精准计算-Exactly-once
5、处理平台
廉价服务器提升海量计算能力
普通数据库,只能达到TB
多快好省,才是大数据
五、大数据深入理解
1、深入理解
表示一种能力
2、阿里发展
3、T腾讯大数据演进
六、技术侧理解
1、大数据前世今生
java实现Hadoop的论文
2、Hadoop组成
存和算
(1)存
元数据管理进行存
取:类似新华字典找目录,就对应其元数据
namenode有多个:standby、联邦学习
(2)算
map
shuffle
reduce
并行计算
(3)案例:集团网页文件个事访问延迟分析
(3)数据流转-生产架构
分久必合,合久必分
3、大数据的组件
存:hudi,数据湖,湖仓一体
七、大数据应用案例-使用MapReduce实现手动举数
1、记住
联系老师要实战三件套:源码、手册、视频
2、双十一大屏
3、使用-Python实现
今天:Python
明天:hive sql
后天:Scala实现flink
(1)生成模拟数据
50个买家买3个商品
(2)map构建
K-V构建
(3)reduce实现
(4)执行程序
4、学习方法
道法术
最新文章
- 微信小程序-视图条件渲染
- 剑指offer题目1-10
- JS写返回上一级
- 配置 Cocoapods的简单配置及胡思乱想
- Qt之模式、非模式、半模式对话框
- Java解析XMl文件之SAX和DOm方法
- 问题-[Delphi]PixelFormat 图像颜色的数据格式
- bzoj 1070: [SCOI2007]修车 费用流
- 转-[Python 学习]2.5版yield之学习心得
- JAVA内存区域和GC机制
- NT kernel &; System 占用占用80端口
- sqlserver2005级联删除
- Sass学习第一天
- Google弃用HttpClient 而推荐使用HttpURLConnection的原因
- zepto中的属性设置
- java遍历实体类的属性和值
- MikroTik RouterOS使用SATA光驱安装时提示:no CD-ROM found press ENTER to reboot
- Spring Boot打war包
- svn报错can only be performed on a version resource [at this time].
- linux time 命令详解
热门文章
- MinIO Docker 快速入门
- CentOS 7.7系统安装Redis 6.0.3
- 【YOLOv5】LabVIEW+YOLOv5快速实现实时物体识别(Object Detection)含源码
- Java I/O(1):模型与流
- JDK 8之前日期和时间的API
- 小程序 wx.navigateTo和 wx.redirectTo区别
- 基于Seq2Seq和注意力机制的句子翻译
- java程序员在交接别人的工作时如何保证顺利交接?
- 2.pytest前后置(固件、夹具)处理
- 表驱动法在STM32中的应用