7月19日day11总结
2024-09-01 07:31:51
今天学习过程和小结
上午进行测试复习了
1，hdfs中namenode和datanode作用
2，hdfs副本存放机制
3，mapreduce计算处理过程
4，格式化hdfs命令
5，hdfs的核心配置文件内容配置
sql语句：
部门表：
6，统计各个部门的人数
7，查询所有部门。
8，倒排索引代码
9，hash函数的特点，有哪些实现方式
10，查看namenode是否正常运行
重点学习了倒排索引的代码。
然后进行了hive的安装和配置，以及sqoop的安装和配置。
Hive构建在Hadoop之上的数据仓库 Hive中定义了一种类SQL查询语言：HQL(类似SQL但不完全 相同) 通常用于离线数据处理（采用mapreduce） 底层支持多种不同的执行引擎（mapreduce、tez、spark） 支持多种不同的压缩格式（GZIP、LZO、Snappy、 Bizp2）、存储格式(TextFile、SequenceFile、RCFILE、ORC、 Parquet)以及自定义函数(UDF)
在hive中主要是进行SQL数据库表的建立以及SQL语句的学习。包括hive查询的联系和表连接的查询。以及sqoop的联系
1使用sqoop导入mysql数据到hdfs
2,使用sqoop导入mysql数据到hive
3,使用sqoop导入mysql数据到hive中，并指定表名
4,使用sqoop导入mysql数据到hive中，并使用where条件
5,使用sqoop导入mysql数据到hive中，并使用查询语句
6,使用sqoop将hive中的数据导出到mysql中
遇到问题汇总
- 今天主要学习了hive和SQL语句的操作，有很多SQL查询语句不是很了解要多多练习。
2.sqoop导入导出的步骤也要加强。
学习技能思维导图
最新文章
- 关于Android中ArrayMap/SparseArray比HashMap性能好的深入研究
- 软件工程课设day3
- c#excel的操作例子
- Windows Phone8 中如何引用 SQLite 数据库
- Material Design风格登录注册
- Selenium2学习-008-WebUI自动化实战实例-006-易迅登录之 frame 处理
- PC110304/UVA850
- 如何实现View上添加标签
- CSDN开源夏令营 百度数据可视化实践 ECharts（8）问题分析
- OC本学习笔记Foundation框架NSString与NSMutableString
- Linux下查看使用频率最高的十个命令
- 2017angular、vue、react热度
- Spring基础4
- MySQL 列出存储过程
- Linux基础命令---lpq查看打印队列
- 四种常见的 POST 提交数据方式对应的content-type取值
- 【python接口自动化框架-unittest】如何传参数到下一个case
- c++11 noexcept修饰符
- 【转】（二）unity4.6Ugui中文教程文档-------概要-UGUI Canvas
- JSON草稿