config.properties
client.id设置为主机名或ip
auto.offset.reset=smallest
client.id=qas

设置环境变量
kafka_config=" --config-schema kafka_config0110  --username 数据库用户名 --password 密码 "
设置scheduler
cd /opt/vertica/packages/kafka/bin
./vkconfig scheduler --add --frame-duration "0:0:05" --brokers IP端口1,IP端口2 --operator 用户 --resource-pool kafka_default_pool

设置clster
./vkconfig kafka-cluster --add ${kafka_config} --brokers IP端口1,IP端口2 --cluster kafka

设置topic
./vkconfig topic --add --topic topic名 --cluster kafka --target 存放表名 --target-columns 列名 ${kafka_config} --rejection-table 拒绝数据表名  --parser fjsonparser --conf config.properties --start-offset 7000
启动kafka进程

nohup ./vkconfig launch ${kafka_config}

注意的是,--start-offset是用于topic开头有脏数据的情况,能够让vertica跳过处理他们,避免hang住

最新文章

  1. quartz集群报错but has failed to stop it. This is very likely to create a memory leak.
  2. EaseMode
  3. YbSoftwareFactory 代码生成插件【二十四】:MVC中实现动态自定义路由
  4. JMeter 服务器性能监测插件介绍
  5. Struts2 源码分析——核心机制
  6. delphi 10 seattle 安卓服务开发(二)
  7. Web前端之CSS_day1-2
  8. Implementing SQL Server Row and Cell Level Security
  9. arrow css
  10. ARM入门实践(一)----Mini6410上最简单的LED点灯裸机程序
  11. 【ASP.NET MVC 学习笔记】- 06 在MVC中使用Ninject
  12. 一场围绕着‘Deeping Learning’的高考
  13. spring aop 动态代理批量调用方法实例
  14. Week1绪论--抽象数据类型
  15. 微信小程序onlaunch异步,首页onLoad先执行?
  16. 【sql注入】浅谈sql注入中的Post注入
  17. Scrapy框架基本使用
  18. Spring Boot + Spring Cloud 实现权限管理系统 (Spring Security 版本 )
  19. [leetcode]692. Top K Frequent Words K个最常见单词
  20. MongoDB副本集配置系列五:副本集的在线迁移

热门文章

  1. 利用inotify和rsync服务实现数据实时同步
  2. FileNotFoundError: Could not find module libmxnet.dll
  3. Istio Ambient Mesh七层服务治理图文详解
  4. JS图片放大镜功能实现
  5. 关于Go你不得不知道的小技巧
  6. Android网络请求(终) 网络请求框架Retrofit
  7. 8 STL-stack
  8. vs同步配置
  9. 07#Web 实战:实现 GitHub 个人主页项目拖拽排序
  10. 12V转5V降压芯片,12V转3.3V稳压芯片电路图