以下是python操作s3常用方法:

boto s3手册:http://boto.readthedocs.org/en/latest/ref/s3.html

boto s3快速入门:http://boto.readthedocs.org/en/latest/s3_tut.html

import boto
from boto.s3.key import Key #高级连接,当然你需要配置好YOUR_ACCESS_KEY,YOUR_SECRET_KEY,我这里是配好了
conn = boto.connect_s3() #创建一个存储桶
conn.create_bucket('yourbucket')
conn.create_bucket('yourbucket', location=Location.USWest) #访问一个存储桶
bucket = conn.get_bucket('yourbucket')
exists = conn.lookup('yourbucket') #向s3上存储数据, 数据来源可以是file、stream、or string,下面为从文件获取数据保存到s3上的test.txt文件中
key = Key(bucket, 'hadoop/data_log/test.txt')
key.set_contents_from_file('/tmp/hello.txt')
#读取s3上文件中的内容,返回string,当然还有其他形式,看源码
key.get_contents_as_string() #删除一个存储桶,在删除存储桶本身时必须删除该存储桶内的所有key
for key in bucket:
key.delete()
bucket.delete() #迭代遍历buckets and keys
for bucket in conn:
for key in bucket:
print key.name #一个判断文件夹中是否有文件的方法
rs = bucket.get_all_keys(prefix=rel_path)
if len(rs)>0:
print '有文件'
else:
print '为空'
#例如:要判断 path=s3://data/hadoop/data_log/20160301/01/文件夹下是否有文件时,rel_path的取值:rel_path = path[10:]

  

最新文章

  1. css全局格式化
  2. 修改context 和 enforce?
  3. js判断是否是微信浏览器
  4. GOLDENGATE 配置文档,各类参数--转发
  5. UIPageControl
  6. 解决json包含html标签无法显示的问题
  7. 编辑器未包含main类型解决方法
  8. 从零开始学ios开发(十八):Storyboards(下)
  9. MFC TCHAR 和CHAR相互转换
  10. Hadoop 统计文件中某个单词出现的次数
  11. python 压缩 解压缩 文件
  12. ubuntu中文论坛
  13. 笑谈ArcToolbox (3) ArcToolbox的一亩三分地
  14. 【one day one linux】linux下的软件包管理工具
  15. navicat for mysql只导出数据表结构(转)
  16. linux内核参数注释与优化
  17. 日志收集(ElasticSearch)串联查询 MDC
  18. A1046. Shortest Distance(20)
  19. 勒索软件Locky、Tesalcrypt等使用了新的工具躲避检测
  20. vue 过渡效果

热门文章

  1. ZPL语言完成条形码的打印
  2. Java秒杀实战 (三)秒杀基本功能开发
  3. Spring Boot启动流程分析
  4. linux MD5使用
  5. 如何查找SAP Fiori launchpad Designer的准确路径即url地址
  6. debian上安装tmux
  7. Linux学习笔记(一)分区
  8. DATASNAP双缓存下载文件
  9. PAT Basic 1063 计算谱半径 (20 分)
  10. sql 拼接字符串单条拆分多条