python利用mongodb上传图片数据 : GridFS 与 bson两种方式
2024-08-31 23:24:29
利用mongodb保存图片通常有两种方法,一种是将图片数据转化为二进制作为字典的键值对进行保存,另一种是利用mongodb提供的GridFS进行保存,两者各有利弊。性能方面的优劣未曾测试,无法进行评价,此处仅对两种方式进行介绍,若有彻知者还望指教。
下面以如下数据作为示例进行介绍:
数据示例
dic = {
"owner_name" : "samssmilin",
"photo_id" : "602880671",
"tags" : "",
"longitude" : "-121.106479",
"height" : "766",
"datetaken" : "2004-01-17 21:05:35",
"width" : "1024",
"length" : 38141,
"photo_title" : "Dad and Elijah",
"latitude" : "35.565222",
"photo_url" : "https://farm2.staticflickr.com/1063/602880671_c2f4511ef4_b.jpg",
"dateupload" : "1075355967",
"owner_id" : "45365637@N00"
}
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
一、GridFS
GridFS将图片数据与图片属性数据分开保存,用chunks来保存图片数据,files保存属性数据,一个图片file可能对应多个chunks,每个chunk的内存大小固定(16M),若图片数据大于chunk,则分为多个chunk保存,用同一个ObjectID关联,下载时自动将多个chunk合并为图片数据。
上传
from pymongo import MongoClient
from gridfs import *
import requests
client = MongoClient('127.0.0.1', 27017) #连接mongodb
db = client.photo #连接对应数据库
#db.authenticate("username","passowd")
fs = GridFS(db, collection="images") #连接collection
data = requests.get(dic["photo_url"], timeout=10).content
# 确认数据库中不存在此图片之后再保存
if not fs.find_one({"photo_url":dic["photo_url"]}):
fs.put(data, **dic)
# 上传成功后,photo数据库下出现两个collection,分别为: images.files, images.chunks
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
下载
from pymongo import MongoClient
from gridfs import *
client = MongoClient('127.0.0.1', 27017) #连接mongodb
db = client.photo #连接对应数据库
#db.authenticate("username","passowd")
fs = GridFS(db, collection="images") #连接collection
num = 1
for grid_out in fs.find(no_cursor_timeout=True):
data = grid_out.read() # 获取图片数据
outf = open('/home/%d.jpg'%num,'wb')
outf.write(data) #存储图片
outf.close()
if num%100000 == 0
metadata_file = open("/home/metadata%d.csv"%(num/100000+1), "ab")
csv_writer = csv.writer(metadata_file,delimiter='\t')
row = [grid_out.photo_title.encode('utf-8'), grid_out.uploadDate, grid_out.upload_date, \
grid_out.longitude, grid_out.latitude, grid_out.width, grid_out.height,\
grid_out.owner_name.encode('utf-8'), grid_out.photo_id, grid_out._id, grid_out.photo_url]
csv_writer.writerow(row)
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
bson二进制
这种方法将图片数据作为键值对放入字典与属性数据作为整体存入数据库中。
上传代码如下:
from bson import binary
from pymongo import MongoClient
client = MongoClient('127.0.0.1', 27017) #连接mongodb
db = client.photo #连接对应数据库
image_collection = db.images
data = requests.get(dic["photo_url"], timeout=10).content
# 确认数据库中不存在此图片之后再保存
if not image_collection.find_one({"photo_url":dic["photo_url"]})
dic["imagecontent"] = binary.Binary(data)
image_collection.insert(dic)
--------------------- 本文来自 MoonBreeze_Ma 的CSDN 博客 ,全文地址请点击:https://blog.csdn.net/qq_23926575/article/details/79271436?utm_source=copy
最新文章
- H3 BPM初次安装常见错误详解1-4
- SAP 直营验单
- 局域网中共享Lantern上网
- Codeforces Round #383 (Div. 2) D 分组背包
- js点击空白处弹窗消失
- ubuntu输入su命令显示 Authentication failure解决
- php curl vs python提交多维数组+文件
- SQL Server 2008 R2 找不到 Install SQL Server Profiler 找不到 事件探查器 解决
- CentOS7安装配置Apache HTTP Server
- linux中vi编辑器
- ubuntu系统安装的MySql数据库,远程不能访问的几种可能问题
- Ruby学习: 全局变量 和常量
- 基于visual Studio2013解决面试题之0501上台阶
- (简单) POJ 1797 Heavy Transportation,Dijkstra。
- MVC4不支持EF6解决方案 &;&; Nuget控制台操作说明
- 谈mysql优化
- [Vim]新建python文件自动添加python header
- vs 删除行尾空格
- HBase JavaAPI
- 换了电脑如何使用hexo继续写博客
热门文章
- sqlplus登陆scott用户,以及退出连接
- 74.Search in a 2D Matrix
- javaScript 翻转
- Linux查看系统状态命令top
- vueSSR渲染原理
- kafka-0.8.1.1总结
- BUPT复试专题—复数集合(?)
- springboot mybatis 项目框架源码 shiro 集成代码生成器 ehcache缓存
- Spring-boot和Spring-Cloud遇到的问题
- LeetCode_Lowest Common Ancestor of a Binary Search Tree (Binary Tree)