HADOOP实战
一、软件版本
Centos6.5、VMware 10
CDH5.2.0(Hadoop 2.5.0)
Hive-0.13
sqoop-1.4.5
二、学完课程之后,您可以:
①、一个人搞定企业Hadoop平台搭建和运维工作;界面化高效运维和监控。
②、玩转Mapreduce编程;
③、玩转Hive使用
④、玩转Sqoop
⑤、独自搞定Hadoop平台的离线分析、统计的工作。成为高端技术人才!
三、课程大纲
1、分布式和传统单机模式
2、Hadoop背景和HDFS详解
3、Mapreduce工作原理剖析
4、Cloudera Manager5.2.0 安装
5、CDH5.2.0用Parcels方式离线安装
6、CM下集群服务管理
7、CM下集群主机管理和Hadoop作业调度策略
8、Hadoop fs 命令详解
9、第二代MR——Yarn原理剖析
10、Linux下Eclipse及Hadoop插件安装配置
11、【MR开发】常用API、官方examples包、WordCount改造
12、【MR开发】以WordCount为例剖析Map-Reduce全过程
13、【MR开发】实战,地区每日PV计算
14、【MR开发】实战,地区每日UV计算(去重模式、多Job依赖)
15、【MR开发】一个MR含多个依赖Job的开发实现
16、Hadoop坏Block处理
17、Hadoop存储均衡和单节点多磁盘间存储均衡
18、Hive产生背景和架构原理
19、Hive服务添加和元数据管理
20、Hive托管表、外部表、分区表、存储结构
21、Hive ql语法详解一
22、Hive ql语法详解二,Cli、字段类型、overwrite
23、Hive企业代码案例分享和hive -e工具封装一
24、hive -e工具封装二
25、Hive UDF开发和使用案例
26、Hive Jdbc方式开发及利弊
27、Hadoop平台数据处理流程一览及Sqoop抽取mysql数据到HDFS
28、Sqoop export和--options-file 方式
29、【综合项目】需求分析
30、【综合项目】数据日志文件加载程序开发
31、【综合项目】完善需求一
32、【综合项目】流量需求二复杂开发
最新文章
- socket原理详解
- Delphi下用API代码创建Form
- spring管理事务需要注意的
- AngularJS指南文档
- Swift下多个Storyboard的项目结构
- Android的log日志知识点剖析
- 菜鸟学习物联网---辨析基于Andriod 5.1,Linux,Windows10开发Dragon Board 410c板
- mysql远程访问以及权限设置
- 帆软报表(finereport)动态列查询
- Spring MVC 起步
- thinkphp %s %d %f
- sublime text 插件 -- 获取文件名到剪贴板
- [C#] Delegate, Multicase delegate, Event
- GPS模块输出的NMEA数据ddmm.mmmm转换成dd.ddddd并在google Earth Pro中描点
- 20155216 2016-2017-2《Java程序设计》课程总结
- shell的tr命令
- java 数组的基本概念
- &;lt;转&;gt;云主机配置OpenStack使用spice的方法
- 一款基于jquery的喜欢动画按钮
- 在PHP项目中,每个类都要有对应的命名空间,为什么?
热门文章
- PAT A1074 Reversing Linked List (25 分)——链表,vector,stl里的reverse
- linux简单的安全防护
- git安装配置
- DNS主从复制及区域传送
- Python文学家为Python写的一首词?(附中英文版)
- eclipse打断点的调试
- BZOJ2154/BZOJ2693/Luogu1829 Crash的数字表格/JZPFAR 莫比乌斯反演
- Luogu2183 礼物 ExLucas、CRT
- CF258D Little Elephant and Broken Sorting/AGC030D Inversion Sum 期望、DP
- SpringBoot favicon.ico