python操作s3 -- boto2.x
2024-09-05 07:58:19
以下是python操作s3常用方法:
boto s3手册:http://boto.readthedocs.org/en/latest/ref/s3.html
boto s3快速入门:http://boto.readthedocs.org/en/latest/s3_tut.html
import boto
from boto.s3.key import Key #高级连接,当然你需要配置好YOUR_ACCESS_KEY,YOUR_SECRET_KEY,我这里是配好了
conn = boto.connect_s3() #创建一个存储桶
conn.create_bucket('yourbucket')
conn.create_bucket('yourbucket', location=Location.USWest) #访问一个存储桶
bucket = conn.get_bucket('yourbucket')
exists = conn.lookup('yourbucket') #向s3上存储数据, 数据来源可以是file、stream、or string,下面为从文件获取数据保存到s3上的test.txt文件中
key = Key(bucket, 'hadoop/data_log/test.txt')
key.set_contents_from_file('/tmp/hello.txt')
#读取s3上文件中的内容,返回string,当然还有其他形式,看源码
key.get_contents_as_string() #删除一个存储桶,在删除存储桶本身时必须删除该存储桶内的所有key
for key in bucket:
key.delete()
bucket.delete() #迭代遍历buckets and keys
for bucket in conn:
for key in bucket:
print key.name #一个判断文件夹中是否有文件的方法
rs = bucket.get_all_keys(prefix=rel_path)
if len(rs)>0:
print '有文件'
else:
print '为空'
#例如:要判断 path=s3://data/hadoop/data_log/20160301/01/文件夹下是否有文件时,rel_path的取值:rel_path = path[10:]
最新文章
- css全局格式化
- 修改context 和 enforce?
- js判断是否是微信浏览器
- GOLDENGATE 配置文档,各类参数--转发
- UIPageControl
- 解决json包含html标签无法显示的问题
- 编辑器未包含main类型解决方法
- 从零开始学ios开发(十八):Storyboards(下)
- MFC TCHAR 和CHAR相互转换
- Hadoop 统计文件中某个单词出现的次数
- python 压缩 解压缩 文件
- ubuntu中文论坛
- 笑谈ArcToolbox (3) ArcToolbox的一亩三分地
- 【one day one linux】linux下的软件包管理工具
- navicat for mysql只导出数据表结构(转)
- linux内核参数注释与优化
- 日志收集(ElasticSearch)串联查询 MDC
- A1046. Shortest Distance(20)
- 勒索软件Locky、Tesalcrypt等使用了新的工具躲避检测
- vue 过渡效果