Elasticsearch mysql 增量同步 三表联合 脚本
2024-10-17 23:31:23
在上一篇中简略的说了一下es同步数据脚本的大致情况,但是实际情况里肯定不会像上一篇里面的脚本那么简单。比如目前我就有三张表,两张实体表,一张关联表。大致实现如下:
bin目录建立一个statefile.json文件:
{
"type" : "jdbc",
"statefile" : "statefile.json",
"jdbc": {
"url" : "jdbc:mysql://",
"user" : "",
"password" : "",
"type" : "actor",
"index": "test",
"schedule" : "0 * * * * ?",
"metrics" : {
"lastexecutionstart" : "0",
"lastexecutionend" : "0",
"counter" : "1"
}, "sql" : [
{
"statement" : "select a.actor_id as _id ,a.*,GROUP_CONCAT(b.tag_name ) as tag_name from ( ( gd_actor_info as a left join gd_actor_tag as ab on a.actor_id = ab.actor_id ) left join gd_tag_actor as b on ab.tag_id = b.tag_id) where a.update_time >? or ab.update_time > ? group by a.actor_id ",
"parameter" : [ "$metrics.lastexecutionstart" ,"$metrics.lastexecutionstart" ]
}
] }
}
主要是lastexecutionstart设置为0,为了让第一次执行能进行一次全量备份。
其实sh脚本信息也就都在上面了,再写一个就好了
最新文章
- 浮动清除、before&;after
- 解决mysql too many connections的问题
- Scrapy框架实现爬虫
- php杂记(一)
- python中threading模块详解(一)
- Apache与Nginx服务器对比
- python 赋值,交换值理解
- SAE搭建WordPress教程 免费建WordPress博客站
- ie下面兼容性问题的一些总结
- 信息安全实验二:return-to-libc
- 安卓SDK更新host文件地址
- SWT中的GridLayout(转)例子不错
- 最常见的三个排序(冒泡、直接插入、快速)的JS实现
- SQL语句整理1
- the c programing language 学习过程8
- ";大概能给你的磕盐增加一点幸福感✈";-[那些年的矫情]
- 使用iTextSharp导出PDF
- Mongodb数据结构及与MySql对比
- [codeWars] - 8kyu的简单复习
- leetcode476