六、Kafka 用户日志上报实时统计之分析与设计
2024-08-26 12:40:10
一、项目整体概述
- 简述项目的背景
背景:
用户行迹
企业运营
- 分析项目的目的
通过对项目的分析,可以初步得到以下目的:
•实时掌握用户动态
•根据实时统计结果,适度推广
•统计分析效果,快速合理的调整
二、Producer 模块分析
- 分析生产数据来源
在用户上报日志中,每条日志记录代表用户的一次活动状态,示例数据如下:
121.40.174.237 yx12345 [21/July/2015 13:25:45 +0000] chrome
appid_5 "http://www.***.cn/sort/channel/2085.html"
示例数据所包含的信息量,如下图所示:
- Flume 到 Kafka 流程分析
数据源生产流程分析,如下图所示:
三、Consumer 模块分析
- 消费数据来源分析
消费数据源统计的KPI指标,如下图所示:
- Kafka 到 Storm 流程分析
数据源消费流程分析,如下图所示:
四、项目整体设计
1.项目详细设计流程
项目详细设计流程,如下图所示:
2.KPI 指标设计
KPI 指标设计,如下图所示:
本节我们项目进行了整体分析,并指导大家去分析 Kakfa 的 Producer 模块和 Consumer 模块,以及帮助大家去设计项目的开发流程等知识,应该掌握以下知识:
•项目的背景和目的
•分析 Producer 模块和 Consumer 模块
•项目的整体开发流程
•KPI 指标的设计
最新文章
- discuz X3.1 关于分表 和 分表数据迁移
- Snap.svg – 现代 Web 开发必备的 JavaScript SVG 库
- Asp.Net 导出Excel数据文件
- POJ3318--Matrix Multiplication 随机化算法
- CSS绝对定位和相对定位 position: absolute/relative
- PHPCMS V9添加模板自定义全局变量
- GDB 调试程序系列
- Laravel资料
- poj 1068 Parencodings(栈)
- Jmeter安装web socket协议插件
- id特性
- 前端 HTML 常用标签 head标签相关内容 script标签
- Ubuntu 部署 nginx
- bzoj 3122 随机数生成器 - BSGS
- WOSA/XFS PTR Form解析库—xfsptrdata.h
- 本地如何连接虚拟机上的MySql
- Python爬取猫眼top100排行榜数据【含多线程】
- Android各国语言Values文件夹命名规则
- Django URL中r的意思
- 简单的纯css重置input单选多选按钮的样式--利用伪类