29-hadoop-使用phtonenix工具&分页&数据导入

因为rowkey一般有业务逻辑, 所以不可以直接使用rowkey进行分页, startkey, endkey

想要使用SQL语句对Hbase进行查询，需要使用Apache的开源框架Phoenix。

安装

1, 下载phonenix

http://mirrors.cnnic.cn/apache/phoenix/

注意下载版本对应的phonenix

2, 解压

解压后, 将 phoenix-core-4.5.2-HBase-1.1.jar 拷贝至hbae各个节点的lib目录下

3, 重新启动hbae集群, 加载jar包

4, 启动,

到加压目录下执行命令

bin/sqlline.py 192.168.208.106:

操作

1, 查看所有表信息

!tables

2, 创建表

create table person (

id varchar primary key,

name varchar

);

3, 插入数据

upsert into person values

('', 'vini');

这儿的upsert, 相当于sql中的额 insert 和update 功能

4, 删除数据

delete from person

where

id = '';

5, 查询所有

select *

from person;

使用phonenix分页

hbase中, rowkey并非规则排布的, 并且可能包含业务逻辑, 所以分页不能像关系型数据库一样进行, 但使用phonenix可以新增列然后进行分页

1, 准备数据;

CREATE TABLE  TMP_TRAVEL (ROWKEY VARCHAR PRIMARY KEY,INFO.SP VARCHAR,INFO.EP VARCHAR,INFO.ST VARCHAR,INFO.ET VARCHAR);

数据

UPSERT INTO TMP_TRAVEL VALUES('16357298756_20160201112343','北京','西三旗','');

UPSERT INTO TMP_TRAVEL VALUES('16357298756_20160202112343','北京','西三旗','');

UPSERT INTO TMP_TRAVEL VALUES('16357298756_20160203112343','北京','西三旗','');

UPSERT INTO TMP_TRAVEL VALUES('16357298756_20160204112343','北京','西三旗','');

UPSERT INTO TMP_TRAVEL VALUES('16357298756_20160205112343','北京','西三旗','');

UPSERT INTO TMP_TRAVEL VALUES('16357298756_20160206112343','北京','西三旗','');

UPSERT INTO TMP_TRAVEL VALUES('16357298756_20160207112343','北京','西三旗','');

UPSERT INTO TMP_TRAVEL VALUES('16357298756_20160208112343','北京','西三旗','');

UPSERT INTO TMP_TRAVEL VALUES('16357298756_20160209112343','北京','西三旗','');

UPSERT INTO TMP_TRAVEL VALUES('16357298756_20160210112343','北京','西三旗','');

2, 创建新表, 并增加 pageId

CREATE TABLE TRAVEL (ROWKEY VARCHAR PRIMARY KEY,INFO.SP VARCHAR,INFO.EP VARCHAR,INFO.ST VARCHAR,INFO.ET VARCHAR,PAGEID BIGINT);

3, 创建sequence作为pageId的值

CREATE SEQUENCE SEQ;

4, 将原数据拷贝到新表

UPSERT INTO TRAVEL SELECT ROWKEY,SP,EP,ST,ET,NEXT VALUE FOR SEQ FROM TMP_TRAVEL;

5, 使用 where pageId> ? and limit ? 进行分页

6, java代码

import org.junit.Before;

import org.junit.Test;

import org.springframework.context.ApplicationContext;

import org.springframework.context.support.ClassPathXmlApplicationContext;

import org.springframework.jdbc.core.JdbcTemplate;

import org.springframework.jdbc.core.RowMapper;

import java.sql.ResultSet;

import java.sql.SQLException;

import java.util.List;

/**

 * Created by Administrator on 2016/3/3 0003.

 */

public class HbaseJdbc {

    private JdbcTemplate jdbcTemplate;

    public void setJdbcTemplate(JdbcTemplate jdbcTemplate) {

        this.jdbcTemplate = jdbcTemplate;

    }

    @Before

    public void before(){

        ApplicationContext context = new ClassPathXmlApplicationContext("applicationContext.xml");

        jdbcTemplate = (JdbcTemplate) context.getBean("phoenixJdbcTemplate");

    }

    @Test

    public void test(){

        List<com.sxt.hbase.Travel> pageRecords = findPageRecords(, , "", "", "");

        for (Travel tt:pageRecords){

            System.out.println(tt.getROWKEY());

        }

    }

    public List<Travel> findPageRecords(int currentPageNum, int pageSize, String ST, String SP, String EP) {

        //第一个参数为SQL语句，第二参数的RowMapper将每一行结果映射成一个Java对象，方便将其他封装到JavaBean中，第三个参数为占位符值（为可变参数）

        List<Travel> travels =  jdbcTemplate.query("SELECT * FROM TRAVEL where PAGEID > ? AND ST >= ? AND ROWKEY LIKE ? limit ?",

                new RowMapper<Travel>() {

                    public Travel mapRow(ResultSet rs, int rowNum)

                            throws SQLException {

                        Travel travel = new Travel();

                        travel.setROWKEY(rs.getString("ROWKEY"));

                        travel.setSP(rs.getString("SP"));

                        travel.setEP(rs.getString("EP"));

                        travel.setST(rs.getString("ST"));

                        travel.setET(rs.getString("ET"));

                        return travel;

                    }

                },(currentPageNum - )*pageSize,ST,SP+EP+"%",pageSize);

        return  travels;

    }

}

分页工具

public class Travel {

    private String ROWKEY;

    private String SP;

    private String EP;

    private String ST;

    private String ET;

    public String getROWKEY() {

        return ROWKEY;

    }

    public void setROWKEY(String ROWKEY) {

        this.ROWKEY = ROWKEY;

    }

    public String getSP() {

        return SP;

    }

    public void setSP(String SP) {

        this.SP = SP;

    }

    public String getEP() {

        return EP;

    }

    public void setEP(String EP) {

        this.EP = EP;

    }

    public String getST() {

        return ST;

    }

    public void setST(String ST) {

        this.ST = ST;

    }

    public String getET() {

        return ET;

    }

    public void setET(String ET) {

        this.ET = ET;

    }

}

数据导入

在上面的实例中, 进行数据导入使用的upsert语句, 非常繁琐, phonenix支持文件导入的方式

psql.py 192.168.208.106: ./WEB-STAT.sql ./WEB_STAT.csv

其中, .sql是建表语句, .csv是需要导入的数据

系列来自尚学堂视频

巴特西