使用singer 转换gitbase 数据到postgresql

2024-10-21 05:55:43

gitbase 是mysql server 的一个实现（主要是用来分析git仓库代码），但是里面好多功能可能并不是很强大（sql 的限制）
我们可以通过singer 的tap-mysql 将数据抽取到标准的pg 数据库，可以方便的使用pg 的好多函数

参考使用

mysql-postgresql 的可以参考 https://www.cnblogs.com/rongfengliang/p/10239118.html
具体的转换很简单，主要是说明几个gitbase 上的缺陷以及怎么解决
实际的代码可以参考https://github.com/rongfengliang/gitbase2postgresql

同步问题

string length
默认singer 是通过获取数据库表的schema 进行类型长度确定的，但是singer对于gtibase string 显示的是是0.所以进行处理会有问题
解决方法

属于临时解决了，修改singer 关于string 类型处理

  elif data_type in STRING_TYPES:

        result.type = ['null', 'string']

        # result.maxLength = c.character_maximum_length

安装新的tap-mysql
因为不是使用的官方pip 仓库安装，我们可以通过本地方法安装,可以通过clone 我的代码解决https://github.com/rongfengliang/tap-mysql

git clone https://github.com/rongfengliang/tap-mysql.git

pip install -e  tap-mysql

说明

因为singer 推荐的方式是venv 安装，所以tap 以及target 最好是使用venv 解决，不然会有各种问题（singer 是基于pipe 的处理模型）

参考资料

https://github.com/rongfengliang/tap-mysql
https://github.com/rongfengliang/tap-mysql
https://github.com/rongfengliang/gitbase2postgresql

最新文章

热门文章