python-redis-pipe文件
2024-09-22 04:27:51
redis导入数据比较头疼的事情,涉及几千万,导入还是很耗时,通过生成pipe文件的方式比较快捷。
python3.6.1版本 在linux环境下运行
with open("data1", "w") as f:
for d in data:
k = d["key"]
v = d['value']
f.write('*3\r\n$3\r\nset\r\n$%d\r\n%s\r\n$%d\r\n%s\r\n' %(len(bytes(k, 'utf-8')), k, len(bytes(v, 'utf-8')), v))
python2.7
for line in lines:
line=line.strip('\n')
jsonLine = json.loads(line)
province = jsonLine["province"]
if province == henan:
key = jsonLine["company_name"]
k = key.encode('utf-8')
v = line
print '*3\r\n$3\r\nset\r\n$%d\r\n%s\r\n$%d\r\n%s\r\n' %(len(k), k, len(v), v),
127.0.0.1:6379> select 10
OK
127.0.0.1:6379[10]> dbsize
(integer) 2907521
最新文章
- 五、Android学习第四天补充——Android的常用控件(转)
- UIView的autoresizingMask和autoresizesSubviews属性的剖析
- SSHPASS支持从命令行输入密码
- Unity 内置着色器(转)
- [转载]C# 多线程、控制线程数提高循环输出效率
- 解决windows server 2003不认U盘或移动硬盘
- 段错误调试神器 - Core Dump详解
- API 管理工具
- Python3常用网络编程模块介绍
- c#十进制转二进制算法 和字符串反转算法
- 第二阶段第一次spring会议
- 解决session只能被一个浏览器访问的问题
- [转][c++][跨平台]c++跨平台开发小结
- c# 线程 WPF 进度百分比(菜鸟)
- opencv实现canopy算法
- ASP.NET开发,从二层至三层,至面向对象 (2)
- PHP并发操作下的加锁
- @Transactional导致AbstractRoutingDataSource动态数据源无法切换的解决办法
- MySQL的innoDB锁机制以及死锁处理
- docker镜像文件导入与导出,支持批量