redis导入数据比较头疼的事情,涉及几千万,导入还是很耗时,通过生成pipe文件的方式比较快捷。

python3.6.1版本 在linux环境下运行

    with open("data1", "w") as f:
for d in data:
k = d["key"]
v = d['value']
f.write('*3\r\n$3\r\nset\r\n$%d\r\n%s\r\n$%d\r\n%s\r\n' %(len(bytes(k, 'utf-8')), k, len(bytes(v, 'utf-8')), v))

  

python2.7

    for line in lines:
line=line.strip('\n')
jsonLine = json.loads(line)
province = jsonLine["province"]
if province == henan:
key = jsonLine["company_name"]
k = key.encode('utf-8')
v = line
print '*3\r\n$3\r\nset\r\n$%d\r\n%s\r\n$%d\r\n%s\r\n' %(len(k), k, len(v), v),

  

127.0.0.1:6379> select 10
OK
127.0.0.1:6379[10]> dbsize
(integer) 2907521

  

最新文章

  1. 五、Android学习第四天补充——Android的常用控件(转)
  2. UIView的autoresizingMask和autoresizesSubviews属性的剖析
  3. SSHPASS支持从命令行输入密码
  4. Unity 内置着色器(转)
  5. [转载]C# 多线程、控制线程数提高循环输出效率
  6. 解决windows server 2003不认U盘或移动硬盘
  7. 段错误调试神器 - Core Dump详解
  8. API 管理工具
  9. Python3常用网络编程模块介绍
  10. c#十进制转二进制算法 和字符串反转算法
  11. 第二阶段第一次spring会议
  12. 解决session只能被一个浏览器访问的问题
  13. [转][c++][跨平台]c++跨平台开发小结
  14. c# 线程 WPF 进度百分比(菜鸟)
  15. opencv实现canopy算法
  16. ASP.NET开发,从二层至三层,至面向对象 (2)
  17. PHP并发操作下的加锁
  18. @Transactional导致AbstractRoutingDataSource动态数据源无法切换的解决办法
  19. MySQL的innoDB锁机制以及死锁处理
  20. docker镜像文件导入与导出,支持批量

热门文章

  1. zoj3765
  2. 《APUE》第7章 进程环境-读书笔记
  3. Swift 3 点击屏幕任意位置隐藏键盘
  4. OkHttp使用Get和Post访问服务器的工具类(一)
  5. 如何定位BAD_ACCESS
  6. .pyc和.pyo文件有何用
  7. [sklearn]性能度量之AUC值(from sklearn.metrics import roc_auc_curve)
  8. json中的dumps和loads
  9. BZOJ - 3744 Gty的妹子序列 (区间逆序对数,分块)
  10. Git-Svn 建立工作目录