1、下载logstash

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.6.0.tar.gz

2. 解压logstash

tar -zxvf logstash-6.6.0.tar.gz

3. 在logstash 目录创建 mysql 文件夹

[root@VM_0_17_centos logstash-6.6.]# mkdir mysql

4. 将 mysql 驱动文件和数据库查询文件 放进mysql中

5. 在config 目录下创建 mysqltoes.conf 文件

6. mysqltoes.conf 配置

input {

  # 多张表的同步只需要设置多个jdbc的模块就行了
jdbc {
# mysql 数据库链接,shop为数据库名
jdbc_connection_string => "jdbc:mysql://ip:3306/mall?characterEncoding=utf8&useSSL=false&serverTimezone=UTC&rewriteBatchedStatements=true"
# 用户名和密码
jdbc_user => "root"
jdbc_password => "" # 驱动
jdbc_driver_library => "/usr/local/logstash-6.6.0/mysql/mysql-connector-java-8.0.16.jar" # 驱动类名
jdbc_driver_class => "com.mysql.jdbc.Driver" #是否分页
jdbc_paging_enabled => "true"
jdbc_page_size => "" #直接执行sql语句
# statement =>"select * from t_item"
# 执行的sql 文件路径+名称
statement_filepath => "/usr/local/logstash-6.6.0/mysql/item.sql" # 默认列名转换为小写
lowercase_column_names => "false" #设置监听间隔 各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新
schedule => "* * * * *" # 索引类型
#type => "jdbc"
} } output {
elasticsearch {
#es的ip和端口
hosts => ["http://ip:9200"]
#ES索引名称(自己定义的)
index => "mall"
#文档类型
document_type => "mall_item"
#设置数据的id为数据库中的字段
document_id => "%{iteId}"
}
stdout {
codec => json_lines
} }

7. 启动 logstash

  前台启动:

[root@VM_0_17_centos bin]# ./logstash -f ../config/mysqltoes.conf

  后台启动:

[root@VM_0_17_centos bin]# nohup  ./logstash -f ../config/mysqltoes.conf >logstash.log &

启动成功

最新文章

  1. Maven 最佳实践
  2. 使用logminer挖掘日志,分析历史操作 系列一
  3. java 启动 shell脚本
  4. Android 数据库管理— — —更新数据
  5. iptables开始ftp
  6. JavaScript高级程序设计25.pdf
  7. 【集训笔记】二分图及其应用【HDOJ1068【HDOJ1150【HDOJ1151
  8. Android Studio 入门(转)
  9. MVC 分离Controllers-Views
  10. SQLServer 错误: 15404,无法获取有关 Windows NT 组 用户
  11. IT小白学习Discuz!框架(一)
  12. cmake与autoconf+automake
  13. 软工网络15团队作业4——Alpha阶段敏捷冲刺2.0
  14. 论文笔记:ReNet: A Recurrent Neural Network Based Alternative to Convolutional Networks
  15. synchronized(四)
  16. 24 week 4 安装 docker
  17. python学习 day19 configparser模块 os模块 subprocess模块
  18. hdu4073 Lights
  19. c++ 发送消息,模拟拖拽文件
  20. [吴恩达机器学习笔记]12支持向量机3SVM大间距分类的数学解释

热门文章

  1. Mycat 配置文件rule.xml
  2. MySQL delete和truncate
  3. mysql 时间与字符串相互转换
  4. onethinkphp 添加钩子报错
  5. Python集训营45天—Day08 (文件操作)
  6. 常见的javascript跨站
  7. ES6 —— entries(),keys()和values()
  8. python编程基础之二十九
  9. Android4.4 RIL软件框架
  10. 聊聊 Vue 中 axios 的封装