NiFi使用总结一 hive到hive的PutHiveStreaming processor和SelectHiveQL

我说实话，NiFi的坑真的挺多的。。。

1、PutHiveStreaming processor的使用

　　具体配置可参考：https://community.hortonworks.com/articles/88309/using-puthivestreaming-processor-in-nifi.html

　　该控制器配置需要hive启用事物；且目前只支持orc格式，且建表需要分桶，开启事务等，建表示例如下：

create table test_trancaction

(user_id Int,name String)

clustered by (user_id) into 3 buckets

stored as orc TBLPROPERTIES ('transactional'='true');

　　hive的事物配置，hive-site.xml配置添加：

<!--start for trancaction -->

<property>

  <name>hive.support.concurrency</name>

  <value>true</value>

</property>

<property>

  <name>hive.enforce.bucketing</name>

  <value>true</value>

</property>

<property>

  <name>hive.exec.dynamic.partition.mode</name>

  <value>nonstrict</value>

</property>

<property>

  <name>hive.txn.manager</name>

  <value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value>

</property>

<property>

  <name>hive.compactor.initiator.on</name>

  <value>true</value>

</property>

<property>

  <name>hive.compactor.worker.threads</name>

  <value>1</value>

</property>