Zookeeper学习笔记

本篇主要是一些基本的介绍和API的使用介绍, 有些只是记录了知识点,而没有完全在笔记中详细解释, 需要自行查找资料补充相关概念

主要参考了课程中的内容: Zookeeper分布式系统开发实战

Zookeeper 概述

简介:

定义 : 分布式系统, 保证系统高可用, 并且高性能
高性能, 分布式的, 分布应用协调服务
使用文件系统目录树作为数据模型

ZK典型用用场景:

注册订阅
负载均衡
命名服务
分布式协调/通知
集群管理

ZK基本概念:

角色:在集群中的角色
- leader
- follower
- observer:无投票权决定leader,只能获取数据
会话 session
数据节点: 树形数据结构
数据节点分类
- 持久节点
- 临时节点
- 顺序节点
数据节点版本:
- version : znode 数据版本
- cversion : znode 的子节点版本
- aversion
Watcher
ACL: access control lists

数据模型:

树形结构, ACL(访问控制)

Zookeeper 单机模式

安装: 解压缩

启动

默认端口 2181
windows命令: bin/zkServer.cmd
unix命令: bin/zkServer.sh

Zookeeper 的命令

ls path [watch] //查看节点, 使用了 watch 之后有数据变化会收到通知

create

-s 为顺序节点

-e 为临时节点

get 获取数据内容和一些属性

set 更新节点数据内容

set path data [version] version //为指定要被更新的数据版本,如已被更新, 则操作失败

detele path [version] 为指定要被删除的数据版本,如已被更新, 则操作失败

Zookeeper 中的 Watch:

Zookeeper 中的 ACL:

每个节点的 ACL 不能继承, 需要单独设置

schema:各种访问控制策略

world
auth
digest
ip
...

auth 的使用:

预先通过 addauth digest user:password 进行添加用户

setAcl /node2 auth:node2u:111111:crdwa

使用时, 需要通过 addauth digest user:password 进行设置之后, 才能访问相应的节点

ZK 集群介绍:

分布式系统的理解

基本概念: 多台计算机;彼此进行交互,通过网络进行通讯;共同目标
传统IT系统满足业务需求:
- 性能
- 可用性
- 数据安全
  
  均是通过机器增加, 代码优化进行处理
分布式系统满足业务需求:

通过增加机器(横向扩展)

缺点:
- 数据一致性的难度
- 系统复杂性(软件结构,运维,开发调试)
- 不可靠因素增加
- 安全性
保证数据一致性:
```
 数据复制

 集中存储(NAS , 分布式缓存等)
```
Sharding:
```
 业务拆分

 数据拆分
```

ZK集群的设置:

所有集群的 zoo.cfg 中的集群配置一致

server.1=127.0.0.1:2888:3888

server.2=127.0.0.1:12888:13888

server.3=127.0.0.1:22888:23888

在数据文件目录中有一个文件 myid , 内容为 server.X 对应的数字, 如果是 server.1 对应机器上, myid 内容即为1

Zookeeper API:

Zookeeper原生API

Zookeeper 的构造函数进行服务端的连接(异步过程)
create() 创建节点

同步调用时: 如果已经存在则直接抛出异常

异步回调时: 如果已经存在, 则返回 name 属性为 null , 正常创建则会返回创建的节点名称 , 回调需要实现 StringCallback 接口

创建节点时需要设置 ACL 策略 : 可以使用预先定义的或者自定义的
delete() 删除节点
getChildren 获取子节点
getData : 获取节点数据
setData : 修改数据
exists : 节点是否存在

以上API需要注意的是, 可以有个同步调用或者异步调用的方式, 另外可以设置 watcher

Curator:

特色: Fluent 风格API :方法级联和方法链的实现

连接

新增连接超时(原有的超时为超过多少时间没有心跳消息而超时)

实现重试策略

实现指数倍增sleep时间

ExponentialBackoffRetry

 RetryPolicy retryPolicy = new ExponentialBackoffRetry(1000, 3);

 client = CuratorFrameworkFactory.builder()

 		.connectString("192.168.1.195:2181")

 		.sessionTimeoutMs(10000).retryPolicy(retryPolicy)

 		.namespace("base").build();

 client.start();

创建节点:

 client.getZookeeperClient().getZooKeeper().addAuthInfo("digest", "liubx11:111111".getBytes());

 client.create().creatingParentsIfNeeded()

 		.withMode(CreateMode.PERSISTENT).withACL(Ids.CREATOR_ALL_ACL)

 		.forPath(path, data);

删除节点

  client.delete().guaranteed().deletingChildrenIfNeeded().withVersion(version).forPath(path);

获取数据 : getData

 Stat stat = new Stat();

 byte[] data = client.getData().forPath(path);

 System.out.println(stat.toString());

更新数据 : setData

 client.setData().withVersion(version).forPath(path, data);

读取子节点 : getChildren

 List<String> children = client.getChildren().usingWatcher(new WatcherTest()).forPath("/curator");

Watcher 使用:

NodeCache:

监听数据节点内容更新

通过 NodeCacheListener 进行

变动数据通过 NodeCache 获取

 public void addNodeDataWatcher(String path) throws Exception {

 	final NodeCache nodeC = new NodeCache(client, path);

 	nodeC.start(true);

 	nodeC.getListenable().addListener(new NodeCacheListener() {

 		public void nodeChanged() throws Exception {

 			String data = new String(nodeC.getCurrentData().getData());

 			System.out.println("path=" + nodeC.getCurrentData().getPath()

 					+ ":data=" + data);

 		}

 	});

 }

PathChildernCache

监听指定节点的子节点变化情况:新增,子节点数据更新, 删除

StartMode 的区别: NORMAL , POST_ INITIALIZED_EVENT

 final PathChildrenCache cache = new PathChildrenCache(this.client,

 		path, true);

 cache.start(StartMode.POST_INITIALIZED_EVENT);

 System.out.println(cache.getCurrentData().size());

 cache.getListenable().addListener(new PathChildrenCacheListener() {

 	public void childEvent(CuratorFramework client,

 			PathChildrenCacheEvent event) throws Exception {

 		if(event.getType().equals(PathChildrenCacheEvent.Type.INITIALIZED)){

 			System.out.println("客户端子节点cache初始化数据完成");

 			System.out.println("size="+cache.getCurrentData().size());

 		}else if(event.getType().equals(PathChildrenCacheEvent.Type.CHILD_ADDED)){

 			System.out.println("添加子节点:"+event.getData().getPath());

 			System.out.println("修改子节点数据:"+new String(event.getData().getData()));

 		}else if(event.getType().equals(PathChildrenCacheEvent.Type.CHILD_REMOVED)){

 			System.out.println("删除子节点:"+event.getData().getPath());

 		}else if(event.getType().equals(PathChildrenCacheEvent.Type.CHILD_UPDATED)){

 			System.out.println("修改子节点数据:"+event.getData().getPath());

 			System.out.println("修改子节点数据:"+new String(event.getData().getData()));

 		}

 	}

 });

异步执行:

通过调用inBackground() 方法实现, 需要传入回调函数, 或者执行线程池等..

回调函数需要实现 BackgroundCallback 接口

会有一个 CuratorEvent 的事件, 可以看到事件状态和返回码
```
 	//删除的异步执行

 	client.delete().guaranteed().deletingChildrenIfNeeded().withVersion(version)

 		.inBackground(new DeleteCallBack()).forPath(path);
```

巴特西

Zookeeper学习笔记(上)