说明

在上一篇文章dotnetcore 与 hbase 之二——thrift 客户端的制作中已经可以找到 c# hbase 客户端的使用方法了,为什么这里单独列出一篇文章来讲述呢?最简单的理由就是,本篇将为客户端的使用讲述一些简化性工作以及需要注意的事项。为此,我们做了一些工作HbaseNetCore

存在的差异

在 c# hbase 客户端中,接口基本只接受或返回 byte 数组型的参数,比如:

  Task<List<byte[]>> getTableNamesAsync(CancellationToken cancellationToken); # 获取所有hbase中的表名
Task<List<TRowResult>> getRowAsync(byte[] tableName, byte[] row, Dictionary<byte[], byte[]> attributes, CancellationToken cancellationToken); # 根据rowkey获取一行数据

所以,大多数的工作将是 customer's class 与 byte array 之间的转换。需要注意的事项正是来源于 c#与 java 的一些差异。

1. byte 数组大小端

在我的工作中遇到的 java 主要使用类org.apache.hadoop.hbase.util.Bytes来进行二进制化(例如:Bytes.toBytes(/**/)),以此来达到和 hbase 进行数据交换的目的。在 Java 中 byte 数组与网络字节流采取一致的大小端模式——大端模式。而在 c#中,主要使用类System.BitConverter来获取二进制流,得到的 bytes 结果是小端模式的。因此,为了通用,我们需要使用Array.Reverse()方法来进行大小端反转。也可以使用System.Net.IPAddress.HostToNetworkOrder()来直接获取网络字节顺序的 bytes。但是其结果不是 byte[],仍然需要使用System.BitConverter来获取 byte[]。此外,单字节编码的字符串(比如:ASCII 、utf-8)不存在大小端的问题,双字节及以上需要注意大小端(比如:utf-16、GB2312)。

2. 基本值类型的对应

在 Java 中,基本数据类型(byte、short、int、long、float、double、char、boolean)中不存在无符号型。而在 c#中(bool、byte、char、decimal、double、float、int 32、long、sbyte、short、uint、ulong、ushort)有无符号型。所以在使用数据类型上需要注意对应。此外,二者在布尔类型上也有差异。从转换的 byte[]中可以看出来:

//java
true:[-1]
false:[0]
//c#
true:01 # 幸运的是所有非零值转bool都是true。BitConverter.ToBoolean(BitConverter.GetBytes((sbyte)-1))
false:00

在 java 中,short 是 4 字节的,而 c#中仅为 2 字节:

//java
System.out.println("short:" + Arrays.toString(Bytes.toBytes('d')));
short:[0, 0, 0, 100] # 十进制
//c#
Console.WriteLine($"short:{BitConverter.ToString(((short)'d').ToBytes())}");# 注意:方法ToBytes获取了bytes并反转了大小端
short:00-64 # 十六进制

customer's class 与 byte array 之间的转换

为了提高工作效率,需要做一些转换工具,以此来减少 byte[]与用户数据之间的徒手转换工作。

1. 为 hbase 仓储而创建的特性与接口

特性类 HbaseTableAttribute 构造函数接受一个可选参数,以此指明与 hasee 对应的表名。

public HbaseTableAttribute(string table = null)

特性类 HbaseColumnAttribute 构造函数接受两个可选参数,以此指明列簇名与列名

public HbaseColumnAttribute(string family = DefaultFamily, string column = null)

接口 IHbaseTable 强制提供 byte[]转换为用户类时提供的 RowKey 属性。

public interface IHbaseTable
{
string RowKey { get; set; }
}

举一student类为例:

[HbaseTable("student")]
public class Student : IHbaseTable
{
public string RowKey { get; set; }
[HbaseColumn]
public string Name { get; set; }
[HbaseColumn]
public int Age { get; set; }
[HbaseColumn]
public bool IsWork { get; set; }
public DateTime JoinSchool { get; set; }
[HbaseColumn]
public List<string> Hobbies { get; set; }
}

2.为 c# hbase 客户端与用户类之间转换创建的辅助工具类

目前实现的转换接口有:

public interface IHbaseParser
{
//用户类转 hbase 客户端
List<Mutation> ToMutations<T>(T obj) where T : class;
//用户类转 hbase 客户端
BatchMutation ToBatchMutation<T>(T obj) where T : class, IHbaseTable;
//用户类集合转 hbase 客户端
List<BatchMutation> ToBatchMutations<T>(IEnumerable<T> objs) where T : class, IHbaseTable;
// hbase 客户端转用户类
T ToReal<T>(TRowResult trr) where T : class, IHbaseTable, new();
// hbase 客户端转用户类集合
List<T> ToReals<T>(IEnumerable<TRowResult> trrs) where T : class, IHbaseTable, new();
}

帮助性接口:

 public interface IHbaseHelper
{
//获取特性HbaseTableAttribute中的表名
string GetTableName<T>() where T : class, new();
//获取特性HbaseColumnAttribute中的列簇名
List<string> GetTableColumnNames<T>() where T : class, new();
}

使用方式如:

//c# hbase 客户端准备
var _clientTransport = new TSocketClientTransport(IPAddress.Loopback, 9090);
var protocol = new TBinaryProtocol(_clientTransport);
var _client = new Hbase.Client(protocol);
var _hbaseHelper = new HbaseHelper();
var _HbaseParser = new HbaseParser(); var cancel = new CancellationToken();
//在hbase创建表
var table = _hbaseHelper.GetTableName<Student>();
var colNames = _hbaseHelper.GetTableColumnNames<Student>();
var columnFamilies = colNames
.Select(t => new ColumnDescriptor { Name = t.ToBytes() })
.ToList();
await _client.createTableAsync(table.ToBytes(), columnFamilies, cancel); //写入1000条数据
var range = Enumerable.Range(0, 1000).ToList();
var students = range
.Select(t => new Student { RowKey = t.ToString().Reverse2String(), Name = $"hsx{t}", Age = t })
.ToList();
students.Last().Hobbies = new List<string> { "running", "dance" };
students.Last().IsWork = true;
var batchs = _HbaseParser.ToBatchMutations(students);
await _client.mutateRowsAsync(table.ToBytes(), batchs, null, cancel); //从‘0’开始扫描数据
var id = await _client.scannerOpenAsync(
table.ToBytes(),
"0".ToBytes(),
null,
null,
cancel);
students = new List<Student>();
List<Student> perStudents = null;
do
{
var tRows = await _client.scannerGetListAsync(id, 500, cancel);
perStudents = _HbaseParser.ToReals<Student>(tRows);
students.AddRange(perStudents);
} while (perStudents?.Count > 0);

总结

虽然我们可以进行 hbase 的读写,但是效率上的差距依然明显,基本在几倍的读性能差距上,写数据性能差异尚未测试。作为 net 了解 hbase 的一个学习窗口吧。

更多细节,请查看HbaseNetCore项目。c# hbase 客户端基本告一段落,如有更新,也基本只会出现在本项目源代码中。

最新文章

  1. JEECG 社区开源项目下载(总览)
  2. Windows升级(安装)MySQL 5.7.x 解压版 + 异常处理
  3. Click Models for Web Search(1) - Basic Click Models
  4. MySQLdb
  5. MFC弹出菜单隐藏解决
  6. [Bhatia.Matrix Analysis.Solutions to Exercises and Problems]ExI.3.7
  7. IntelliJ IDEA 14 注册码及注册码生成器
  8. C#中假设正确使用线程Task类和Thread类
  9. angularjs中常用的ng指令介绍【转载】
  10. 跨域问题jsonp
  11. Vue-admin工作整理(十六):Ajax-axios进行请求封装+拦截器
  12. Spring,SpringMvc配置常见的坑,注解的使用注意事项,applicationContext.xml和spring.mvc.xml配置注意事项,spring中的事务失效,事务不回滚原因
  13. element-ui使用导航栏跳转路由用法
  14. 前端基础开发之HTML
  15. 向eclipse的JavaWeb项目中导入jar包
  16. 【Java】【8】StringUtils中isNotEmpty和isNotBlank的区别
  17. C 排序 解题报告
  18. 纯正商业级小程序开发(完结版).txt
  19. Android学习笔记七:五大存储
  20. iOS设计模式 - 迭代器

热门文章

  1. python统计apache、nginx访问日志IP访问次数并且排序(显示前20条)【转】
  2. exp/imp 注释乱码问题或Oracle EXP-00091的解决方法
  3. ActiveMQ相关API
  4. sass - for循环写法
  5. SVN创建分支/合并/切换使用
  6. jmeter配置元件之计数器
  7. apt-get和yum
  8. ISCSI多路径配置(二)
  9. 123457123456#3#----com.ppGame.konglongPuzzle78--前拼后广--konglongPT游戏_pp
  10. Docker学习笔记——1.2 Docker组件