1.实现的流程

  需求分析

    时间:日,时段

    分区表:两级

    PV

    UV

  数据清洗

    2015-08-28 18:19:10

    字段:id,url,guid,tracktime

  数据分析

  导出

2.新建源数据库

  

3.新建表

  

4.加载原始数据

  

5.查看部分结果

  

6.建立清洗数据表(方便下面的分区表的建立)

  

  

7.为清洗表加载数据

  

8.展示部分清洗过后的数据

  

9.建立分区表

  

10.加载数据

  

11.展示部分结果

  

二:动态分区表的建立

12.动态分区的配置修改 

  <property>
    <name>hive.exec.dynamic.partition</name>
    <value>true</value>      ---》》默认是true,不需要再修改
    <description>Whether or not to allow dynamic partitions in DML/DDL.</description>
  </property>

  <property>
    <name>hive.exec.dynamic.partition.mode</name>
    <value>nonstrict</value>
  </property>

  

13.新建分区表

  

14.加载数据

  

15.查看部分结果

  

三:数据分析,实现需求

16.实现需求

  

17.把结果存入result中

  

17.导出数据进入mysql

  1.新建表

  

  2.整体输出结果

  

  3.查看结果(mysql中)

  

  

  

最新文章

  1. linux basic commands
  2. css中margin-left与left的区别
  3. C++-const_cast, reinterpret_cast, static_cast的用法
  4. usaco3.33Camelot(BFS)
  5. C#中的三种 加密解密
  6. COB Epoxy灌膠時氣泡產生的原因與解決方法
  7. Kinect for windows 破解 一,简单的体感超级玛丽
  8. coroutine
  9. Java Drp项目实战——Drp知多少
  10. 浅谈DevExpress&lt;二&gt;:设计一个完整界面(1)
  11. 面向对象的SOLID原则白话篇
  12. vue 高德地图之玩转周边
  13. java 反射的基本操作
  14. 项目之初的模型设计与status状态字段
  15. C# 显式转换关键字 explicit
  16. H5 id选择器和class选择器
  17. Linux 内核中的数据结构:基数树(radix tree)
  18. FI CO 常用表
  19. 76. Minimum Window Substring *HARD*
  20. 第一个Verilog程序:通用加法器

热门文章

  1. HashMap两种遍历数据的方式
  2. mysql之对表的操作
  3. DP ZOJ 3872 Beauty of Array
  4. Oracle 使用小计
  5. POJ 2217 (后缀数组+最长公共子串)
  6. AppCache 离线存储 应用程序缓存 API 及注意事项
  7. ios 开发中出现的 pointer being freed was not allocated *** set a breakpoint in malloc_error_break to debug
  8. c/c++ 关于swap的不同写法
  9. new在c#方法中的使用
  10. git 基于发布分支的开发