【企业流行新数仓】Day03：SuperSet图表，Ranger权限、脱敏、行级别过滤，Atlas元数据、查询和查看全表/字段血缘依赖，Zabbix告警

一、SuperSet-图表展示

1、概念

（1）概念

通过dashboard(仪表盘)对图表中的数据进行展示

BI工具：根据配置的要求，进行数据源的配置即可

是准商业级别的BI web应用

（2）原理

通过UI界面，向Flask编写的web应用发送请求----> web应用处理请求，对接数据源摄取数据------->响应数据到浏览器------>NVD3进行可视化

集合NVD3(echarts)实现图标的可视化

（3）应用场景

对接常用的大数据分析工具，如Hive、Kylin、Druid等，且支持自定义仪表盘，故可作为数仓的可视化工具

2、安装

安装miniconda

创建python3.6环境

conda环境中环境中安装superset

3、术语介绍

chart：图表

dashboard:仪表盘(定制图标的样式等待)

4、使用

（1）MySQL

Sources/Databases配置、Table配置

配置仪表盘、创建并配置图表、添加到仪表盘（可以调整仪表盘刷新时间）

（2）各种图表

柱状图、折线图、饼图

透视图、大数、趋势大数

二、Ranger--权限管理

1、概述

在Hadoop平台上进行监控，启用服务，数据安全访问管理的框架

实现多用户环境中的安全管理

核心是web应用程序，也成为RangerAdmin模块

2、安装

创建Ranger存储的数据库、安装RangerAdmin

启动访问并登录web

安装 RangerUsersync（实现Linux系统中用户和组信息同步到数据库），root用户启动服务

安装Ranger Hive-plugin：对使用jdbc方式访问hive的请求进行权限管理，hive-cli并不受限制

配置hive插件

3、使用Ranger对Hive进行权限管理

查看默认的访问策略，admin拥有权限，其他用户不能访问

为用户配置权限Add New Policy

4、脱敏操作--点击Masing标签

限制用户对某一列的访问

5、行级别过滤--选择Row Level Filter标签

只允许查询emp表中job类型为SALESMAN的用户信息

将表中的数据进行条件过滤后再暴露给用户

三、Atlas：元数据管理

1、概述

（1）概念

为组织提供开放式元数据管理和治理功能

对数据资产进行分类和管理，提供围绕这些数据资产的协作功能

（2）功能

如insert overwrite、query等

建立表与表之间的血缘依赖、字段与字段之间的血缘依赖

（3）原理

支持Hive、HBASE、sqoop、storm、kafka提取元数据

2、安装及使用

（1）安装

集成外部的HBase + Solr（部署Solr的Cloud模式，并编写群起脚本）

（2）集成外部框架-修改配置

Atlas集成Hbase

Atlas集成Solr

Atlas集成Kafka

Atlas其他配置

Atlas集成Hive

（3）集群启动

bin/solr start

（4）导入hive元数据

bin/import-hive.sh

3、界面查看

（1）查看基本信息

查询Hive库

查询Hive进程

查询Hive表

查询Hive列

筛选查询条件

查看具有血缘依赖列的数据

（2）查看血缘依赖关系-点击Lineage

第一次查看表血缘依赖

第一次查看字段血缘依赖

启动GMV全流程任务：启动executor服务器和web服务器并上传任务

4、编译源码

四、Zabbix：监控健康性并报警

1、入门

（1）概述

监控网络参数以及服务器健康性和完整性，使用灵活的通知机制

对事件配置邮件告警

（2）基础架构

agent部署在监控目标上

server收集监控数据

2、Server节点安装

（1）集群规划

节点	服务
hadoop102	zabbix-server、zabbix-agent、MySQL、zabbix-web
hadoop103	zabbix-agent
hadoop104	zabbix-agent

（2）准备工作

关闭防火墙iptables

关闭SELinux，重启服务器sudo reboot

（3）zabbix编译及安装

创建zabbix用户和用户组

上传压缩包

创建对应的数据库，导入zabbix提供的SQL脚本

上传并安装编译环境

编译安装sudo make install

修改server/agent配置文件

编写系统服务脚本

（4）部署Zabbix-web

部署httpd

安装php5.6

（5）Zabbix启动

启动Zabbix-Server

启动Zabbix-Agent

启动Zabbix-Web（httpd）

Zabbix登录（配置数据库连接信息）

3、Zabbix安装之agent节点

创建用户

编译环境准备gcc-c++

解压编译并安装make install

修改配置

编辑系统服务脚本

启动Zabbix-Agent

4、使用

（1）术语

Host（主机）、Item（监控项）、Trigger（触发器，一个逻辑表达式）、Action（动作）

（2）实战

创建Host

创建Item（DataNode）

创建Trigger，添加表达式

创建Media type（绑定email）

巴特西

【企业流行新数仓】Day03：SuperSet图表，Ranger权限、脱敏、行级别过滤，Atlas元数据、查询和查看全表/字段血缘依赖，Zabbix告警

最新文章

热门文章