vertica 7.0 使用kafka
2024-09-07 06:01:47
config.properties
client.id设置为主机名或ip
auto.offset.reset=smallest
client.id=qas
设置环境变量
kafka_config=" --config-schema kafka_config0110 --username 数据库用户名 --password 密码 "
设置scheduler
cd /opt/vertica/packages/kafka/bin
./vkconfig scheduler --add --frame-duration "0:0:05" --brokers IP端口1,IP端口2 --operator 用户 --resource-pool kafka_default_pool
设置clster
./vkconfig kafka-cluster --add ${kafka_config} --brokers IP端口1,IP端口2 --cluster kafka
设置topic
./vkconfig topic --add --topic topic名 --cluster kafka --target 存放表名 --target-columns 列名 ${kafka_config} --rejection-table 拒绝数据表名 --parser fjsonparser --conf config.properties --start-offset 7000
启动kafka进程
nohup ./vkconfig launch ${kafka_config}
注意的是,--start-offset是用于topic开头有脏数据的情况,能够让vertica跳过处理他们,避免hang住
最新文章
- quartz集群报错but has failed to stop it. This is very likely to create a memory leak.
- EaseMode
- YbSoftwareFactory 代码生成插件【二十四】:MVC中实现动态自定义路由
- JMeter 服务器性能监测插件介绍
- Struts2 源码分析——核心机制
- delphi 10 seattle 安卓服务开发(二)
- Web前端之CSS_day1-2
- Implementing SQL Server Row and Cell Level Security
- arrow css
- ARM入门实践(一)----Mini6410上最简单的LED点灯裸机程序
- 【ASP.NET MVC 学习笔记】- 06 在MVC中使用Ninject
- 一场围绕着‘Deeping Learning’的高考
- spring aop 动态代理批量调用方法实例
- Week1绪论--抽象数据类型
- 微信小程序onlaunch异步,首页onLoad先执行?
- 【sql注入】浅谈sql注入中的Post注入
- Scrapy框架基本使用
- Spring Boot + Spring Cloud 实现权限管理系统 (Spring Security 版本 )
- [leetcode]692. Top K Frequent Words K个最常见单词
- MongoDB副本集配置系列五:副本集的在线迁移