一、项目整体概述

  • 简述项目的背景

背景:
用户行迹
企业运营

  • 分析项目的目的
通过对项目的分析,可以初步得到以下目的:
•实时掌握用户动态
•根据实时统计结果,适度推广
•统计分析效果,快速合理的调整

二、Producer 模块分析

  • 分析生产数据来源
在用户上报日志中,每条日志记录代表用户的一次活动状态,示例数据如下:

121.40.174.237 yx12345 [21/July/2015 13:25:45 +0000] chrome

appid_5 "http://www.***.cn/sort/channel/2085.html"

示例数据所包含的信息量,如下图所示:
 

  • Flume 到 Kafka 流程分析
数据源生产流程分析,如下图所示:

三、Consumer 模块分析

  • 消费数据来源分析
消费数据源统计的KPI指标,如下图所示:
 

  • Kafka 到 Storm 流程分析
数据源消费流程分析,如下图所示:
 

四、项目整体设计

1.项目详细设计流程

项目详细设计流程,如下图所示:

2.KPI 指标设计

KPI 指标设计,如下图所示:
 

本节我们项目进行了整体分析,并指导大家去分析 Kakfa 的 Producer 模块和 Consumer 模块,以及帮助大家去设计项目的开发流程等知识,应该掌握以下知识:
•项目的背景和目的
•分析 Producer 模块和 Consumer 模块
•项目的整体开发流程
•KPI 指标的设计
 

最新文章

  1. discuz X3.1 关于分表 和 分表数据迁移
  2. Snap.svg – 现代 Web 开发必备的 JavaScript SVG 库
  3. Asp.Net 导出Excel数据文件
  4. POJ3318--Matrix Multiplication 随机化算法
  5. CSS绝对定位和相对定位 position: absolute/relative
  6. PHPCMS V9添加模板自定义全局变量
  7. GDB 调试程序系列
  8. Laravel资料
  9. poj 1068 Parencodings(栈)
  10. Jmeter安装web socket协议插件
  11. id特性
  12. 前端 HTML 常用标签 head标签相关内容 script标签
  13. Ubuntu 部署 nginx
  14. bzoj 3122 随机数生成器 - BSGS
  15. WOSA/XFS PTR Form解析库—xfsptrdata.h
  16. 本地如何连接虚拟机上的MySql
  17. Python爬取猫眼top100排行榜数据【含多线程】
  18. Android各国语言Values文件夹命名规则
  19. Django URL中r的意思
  20. 简单的纯css重置input单选多选按钮的样式--利用伪类

热门文章

  1. Java 单生产者消费者问题
  2. Java网络编程一:基础知识详解
  3. 0422数学口袋精灵bug发现
  4. [BUAA2017软工]个人作业week-1
  5. HTTP压力测试工具wrk的安装及测试
  6. VMIC
  7. 用JavaScript添加选择按钮的背景颜色和juqery添加选择按钮的背景色
  8. String、StringBuffer与StringBuilder比较
  9. BZOJ5127 数据校验
  10. BZOJ3246 IOI2013Dreaming