使用logstash迁移elasticsearch数据

支持同集群复制和跨集群复制

优点：通过简单配置即可实现、零编码。

缺点：logstash 单点运行迁移，速度一般。

以es2.2.1 logstash2.2.1 为例

以下logstash 配置功能为迁移同一个集群索引 hottest_20170805_bak2 到 hottest_20170805_bak3

如果是跨集群修改ip即可

 #logstash 输入插件

 input {

   elasticsearch {

     hosts => [ "192.168.126.132:9200", "192.168.126.134:9200", "192.168.126.135:9200" ] #来源集群

     index => "hottest_20170805_bak2"

     size =>

     scroll => "5m"

     docinfo => true

     scan => true

   }

 }

 filter {

   mutate {

     remove_field => ["@timestamp", "@version"]  #过滤掉logstash 自己加上的字段

   }

 }

 #logstash 输出插件

 output {

   elasticsearch {

     hosts => [ "192.168.126.132:9200", "192.168.126.134:9200", "192.168.126.135:9200" ] #目标集群

     index => "hottest_20170805_bak3"

     #index => "%{[@metadata][_index]}"  和来源索引相同

     document_type => "%{[@metadata][_type]}"  #和来源索引相同

     document_id => "%{[@metadata][_id]}"

     flush_size =>  #批量提交数量

     workers =>  #并行数量

   }

 }

启动logstash，-f 指向配置文件地址。

logstash 配置参考

官网
input 插件参数
https://www.elastic.co/guide/en/logstash/2.2/plugins-inputs-elasticsearch.html
output 插件参数
https://www.elastic.co/guide/en/logstash/2.2/plugins-outputs-elasticsearch.html

巴特西

使用logstash迁移elasticsearch数据

最新文章

热门文章