logstash定时将mysql种数据同步到elasticsearch
2024-10-15 09:20:38
以Windows操作系统为例
1.下载logstash安装包,解压,配置好环境
2.在config目录中新增一个jdbc.conf
input {
stdin {
}
jdbc {
# mysql 数据库链接,es为数据库名
jdbc_connection_string => "jdbc:mysql://localhost:3306/es?characterEncoding=utf8&useSSL=true&serverTimezone=GMT"
# 用户名和密码
jdbc_user => "root"
jdbc_password => "root"
# 驱动
jdbc_driver_library =>
"C:/Users/Administrator/.m2/repository/mysql/mysql-connector-java/8.0.13/mysql-connector-java-8.0.13.jar"
# 驱动类名
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
# 执行的sql 文件路径+名称
statement_filepath => "H:/software/java/logstash-6.2.2/config/test.sql"
# 设置监听间隔 各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新
schedule => "* * * * *"
# 设定ES索引类型
type => "content"
}
}
filter {
json {
source => "message"
remove_field => ["message"]
}
}
output {
elasticsearch {
hosts => ["localhost:9200"]
#ES索引名称(自己定义的)
index => "cmscontent"
#自增ID编号
document_id => "%{id}"
}
stdout {
codec => json_lines
}
}
3.在config目录中新增一个test.sql 内容为:select * from test
4.cmd在bin目录下执行logstash -f ../config/jdbc.conf
最新文章
- Maven详解
- Javascript设置对象属性为";只读";
- highcharts的.net本地导出环境安装记录
- 学点css之经验总结篇章
- ubuntu 14.04安装quickbuild server (一)
- [Angular 2] Keynote: Lazy Routing -- NGCONF
- Storm Esper
- 房费制 之 登录BUG
- MySQL 数据库的创建&;修改
- github同一账户+多个库
- 【Codeforces 499D】Name That Tune
- Java基础(2)面向对象和封装,对象的创建和使用、java对象的内存图
- sqlserver 误删数据库恢复
- 下列java代码中的变量a、b、c分别在内存的______存储区存放。
- 使用VSTS进行单元测试练习
- Visual Studio Community 2013 中文语言包-离线安装版
- 字典树(Trie Tree)
- ios中的coredata
- SpringMVC_05 利用spring框架来处理异常
- android window(二)从getSystemService到WindowManagerGlobal