MongoDB_聚合
2024-10-21 14:40:20
MongoDB提供以下聚合工具来对数据进行操作：聚合框架、MapReduce以及几个简单聚合命令：count、distinct、group
聚合框架：可以使用多个构件创建一个管道，上一个构件的结果传给下一个构件。这些构件包括：筛选（$match）、投射（$project）、分组（$group）、排序($sort)、限制（$limit）、跳过（$skip），不同的管道操作可以任意组合，重复使用
# from pymongo import MongoClient
# import datetime
# from pprint import pprint
#
# #连接
# #client = MongoClient('localhost',27017)
# client = MongoClient('mongodb://root:123@localhost:27017')
#
# #使用数据库
# db = client['db1']
#
# #查看数据库下所有的集合
# print(db.collection_names(include_system_collections=False))
#
# #创建集合
# table_user = db['userinfo']
#
# #插入文档
# user0 = {
# 'id':1,
# 'name':'lary',
# 'birth':datetime.datetime.now(),
# 'age':10,
# 'hobbies':['music','read','dancing'],
# 'addr':{
# 'country':'China',
# 'city':'BJ'
# }
# }
# user1 = {
# 'id':2,
# 'name':'lary1',
# 'birth':datetime.datetime.now(),
# 'age':10,
# 'hobbies':['music','read','dancing'],
# 'addr':{
# 'country':'China',
# 'city':'BJ'
# }
# }
#
# user2 = {
# 'id':3,
# 'name':'lary2',
# 'birth':datetime.datetime.now(),
# 'age':10,
# 'hobbies':['music','read','dancing'],
# 'addr':{
# 'country':'China',
# 'city':'BJ'
# }
# }
#
# #插入数据
# # res = table_user.insert_many([user0,user1,user2]).inserted_ids
# # print(table_user.count())
#
# #查找数据
# #pprint(table_user.find_one())
# # for item in table_user.find():
# # pprint(item)
#
# print(table_user.find_one({'id':{'$gte':1},'name':'lary'}))
#
# #更新数据
# table_user.update({'id':1},{'name':'lary'})
#
# #传入新的文档替换旧的文档
# table_user.save(
# {
# 'id':2,
# 'name':'lary_test'
# }
# ) from pymongo import MongoClient
import datetime client = MongoClient('mongodb://root:123@localhost:27017')
table = client['db1']['user'] user_data =[
('lary','male',18,'','good teacher',7300.33,401,1), #教学部
('lily','male',78,'','teacher',1000000.31,401,1),
('jane','male',81,'','teacher',8300,401,1),
('tom','male',73,'','teacher',3500,401,1),
('jack','male',28,'','teacher',2100,401,1),
('lory','female',18,'','teacher',9000,401,1),
('martin','male',18,'','teacher',30000,401,1),
('tracy','male',48,'','teacher',10000,401,1), ('yy','female',48,'','sale',3000.13,402,2),#销售部
('cc','female',38,'','sale',2000.35,402,2),
('tt','female',18,'','sale',1000.37,402,2),
('kk','female',18,'','sale',3000.29,402,2),
('jj','female',28,'','sale',4000.33,402,2), ('AA','male',28,'','operation',10000.13,403,3), #运营部
('CYA','male',18,'','operation',20000,403,3),
('CYQ','female',18,'','operation',19000,403,3),
('CYE','male',18,'','operation',18000,403,3),
('CYT','female',18,'','operation',17000,403,3)
] for n,item in enumerate(user_data):
d = {
'id':n,
'name':item[0],
'sex':item[1],
'age':item[2],
'hire_date':datetime.datetime.strptime(item[3],'%Y%m%d'),
'post':item[4],
'salary':item[5]
}
table.save(d)
数据准备
$match
#{"$match":{"字段":"条件"}},可以使用任何常用查询操作符$gt,$lt,$in等
db.emp.aggregate({"$match":{"post":"teacher"}}) #select * from db1.emp where post='teacher';
db.emp.aggregate(
{"$match":{"_id":{"$gt":3}}},
{"$group":{"_id":"$post",'avg_salary':{"$avg":"$salary"}}}
) #select * from db1.emp where id > 3 group by post;
db.emp.aggregate(
{"$match":{"_id":{"$gt":3}}},
{"$group":{"_id":"$post",'avg_salary':{"$avg":"$salary"}}},
{"$match":{"avg_salary":{"$gt":10000}}}
) #select * from db1.emp where id > 3 group by post having avg(salary) > 10000;
$project
{"$project":{"要保留的字段名":1,"要去掉的字段名":0,"新增的字段名":"表达式"}}
#1、select name,post,(age+1) as new_age from db1.emp;
db.emp.aggregate(
{"$project":{
"name":1,
"post":1,
"new_age":{"$add":["$age",1]}
}
})
#2、表达式之数学表达式
{"$add":[expr1,expr2,...,exprN]} #相加
{"$subtract":[expr1,expr2]} #第一个减第二个
{"$multiply":[expr1,expr2,...,exprN]} #相乘
{"$divide":[expr1,expr2]} #第一个表达式除以第二个表达式的商作为结果
{"$mod":[expr1,expr2]} #第一个表达式除以第二个表达式得到的余数作为结果
#3、表达式之日期表达式:$year,$month,$week,$dayOfMonth,$dayOfWeek,$dayOfYear,$hour,$minute,$second
#例如：select name,date_format("%Y") as hire_year from db1.emp
db.emp.aggregate(
{"$project":{"name":1,"hire_year":{"$year":"$hire_date"}}}
)
#例如查看每个员工的工作多长时间
db.emp.aggregate(
{"$project":{"name":1,"hire_period":{
"$subtract":[
{"$year":new Date()},
{"$year":"$hire_date"}
]
}}}
)
#4、字符串表达式
{"$substr":[字符串/$值为字符串的字段名,起始位置,截取几个字节]}
{"$concat":[expr1,expr2,...,exprN]} #指定的表达式或字符串连接在一起返回,只支持字符串拼接
{"$toLower":expr}
{"$toUpper":expr}
db.emp.aggregate( {"$project":{"NAME":{"$toUpper":"$name"}}})
#5、逻辑表达式
$and
$or
$not
#其他见Mongodb权威指南
$group
{"$group":{"_id":分组字段,"新的字段名":聚合操作符}}
#1、将分组字段传给$group函数的_id字段即可
{"$group":{"_id":"$sex"}} #按照性别分组
{"$group":{"_id":{"state":"$state","city":"$city"}}} #按照多个字段分组，比如按照州市分组
#2、分组后聚合得结果,类似于sql中聚合函数的聚合操作符：$sum、$avg、$max、$min、$first、$last
#例1：select post,max(salary) from db1.emp group by post;
db.emp.aggregate({"$group":{"_id":"$post","max_salary":{"$max":"$salary"}}})
#例2：去每个部门最大薪资与最低薪资
db.emp.aggregate({"$group":{"_id":"$post","max_salary":{"$max":"$salary"},"min_salary":{"$min":"$salary"}}})
#例3：如果字段是排序后的，那么$first,$last会很有用,比用$max和$min效率高
db.emp.aggregate({"$group":{"_id":"$post","first_id":{"$first":"$_id"}}})
#例4：求每个部门的总工资
db.emp.aggregate({"$group":{"_id":"$post","count":{"$sum":"$salary"}}})
#例5：求每个部门的人数
db.emp.aggregate({"$group":{"_id":"$post","count":{"$sum":1}}})
#3、数组操作符
{"$addToSet":expr}：不重复
{"$push":expr}：重复
#例：查询岗位名以及各岗位内的员工姓名:select post,group_concat(name) from db1.emp group by post;
db.emp.aggregate({"$group":{"_id":"$post","names":{"$push":"$name"}}})
db.emp.aggregate({"$group":{"_id":"$post","names":{"$addToSet":"$name"}}})
$sort/$limit/$skip
{"$sort":{"字段名":1,"字段名":-1}} #1升序，-1降序
{"$limit":n}
{"$skip":n} #跳过多少个文档
#例1、取平均工资最高的前两个部门
db.emp.aggregate({"$group":{"_id":"$post","平均工资":{"$avg":"$salary"}}},{"$sort":{"平均工资":-1}},{"$limit":2})
#例2、
db.emp.aggregate({ "$group":{"_id":"$post","平均工资":{"$avg":"$salary"}}},{"$sort":{"平均工资":-1}},{ "$limit":2},{ "$skip":1})
$sample
#从user集合中随机选取3个文档
db.user.aggregate(
[ { $sample: { size: 3 } } ]
)
1. 查询岗位名以及各岗位内的员工姓名
2. 查询岗位名以及各岗位内包含的员工个数
3. 查询公司内男员工和女员工的个数
4. 查询岗位名以及各岗位的平均薪资、最高薪资、最低薪资
5. 查询男员工与男员工的平均薪资，女员工与女员工的平均薪资
6. 查询各岗位内包含的员工个数小于2的岗位名、岗位内包含员工名字、个数
7. 查询各岗位平均薪资大于10000的岗位名、平均工资
8. 查询各岗位平均薪资大于10000且小于20000的岗位名、平均工资
9. 查询所有员工信息，先按照age升序排序，如果age相同则按照hire_date降序排序
10. 查询各岗位平均薪资大于10000的岗位名、平均工资,结果按平均薪资升序排列
11. 查询各岗位平均薪资大于10000的岗位名、平均工资,结果按平均薪资降序排列,取前1个
练习题
1. 查询岗位名以及各岗位内的员工姓名
db.emp.aggregate({"$group":{"_id":"$post","names":{"$push":"$name"}}}) 2. 查询岗位名以及各岗位内包含的员工个数
db.emp.aggregate({"$group":{"_id":"$post","count":{"$sum":1}}}) 3. 查询公司内男员工和女员工的个数
db.emp.aggregate({"$group":{"_id":"$sex","count":{"$sum":1}}}) 4. 查询岗位名以及各岗位的平均薪资、最高薪资、最低薪资
db.emp.aggregate({"$group":{"_id":"$post","avg_salary":{"$avg":"$salary"},"max_salary":{"$max":"$salary"},"min_salary":{"$min":"$salary"}}}) 5. 查询男员工与男员工的平均薪资，女员工与女员工的平均薪资
db.emp.aggregate({"$group":{"_id":"$sex","avg_salary":{"$avg":"$salary"}}}) 6. 查询各岗位内包含的员工个数小于2的岗位名、岗位内包含员工名字、个数
db.emp.aggregate(
{
"$group":{"_id":"$post","count":{"$sum":1},"names":{"$push":"$name"}}
},
{"$match":{"count":{"$lt":2}}},
{"$project":{"_id":0,"names":1,"count":1}}
) 7. 查询各岗位平均薪资大于10000的岗位名、平均工资
db.emp.aggregate(
{
"$group":{"_id":"$post","avg_salary":{"$avg":"$salary"}}
},
{"$match":{"avg_salary":{"$gt":10000}}},
{"$project":{"_id":1,"avg_salary":1}}
) 8. 查询各岗位平均薪资大于10000且小于20000的岗位名、平均工资
db.emp.aggregate(
{
"$group":{"_id":"$post","avg_salary":{"$avg":"$salary"}}
},
{"$match":{"avg_salary":{"$gt":10000,"$lt":20000}}},
{"$project":{"_id":1,"avg_salary":1}}
) 9. 查询所有员工信息，先按照age升序排序，如果age相同则按照hire_date降序排序
db.emp.aggregate(
{"$sort":{"age":1,"hire_date":-1}}
) 10. 查询各岗位平均薪资大于10000的岗位名、平均工资,结果按平均薪资升序排列
db.emp.aggregate(
{
"$group":{"_id":"$post","avg_salary":{"$avg":"$salary"}}
},
{"$match":{"avg_salary":{"$gt":10000}}},
{"$sort":{"avg_salary":1}}
) 11. 查询各岗位平均薪资大于10000的岗位名、平均工资,结果按平均薪资降序排列,取前1个
db.emp.aggregate(
{
"$group":{"_id":"$post","avg_salary":{"$avg":"$salary"}}
},
{"$match":{"avg_salary":{"$gt":10000}}},
{"$sort":{"avg_salary":-1}},
{"$limit":1},
{"$project":{"date":new Date,"平均工资":"$avg_salary","_id":0}}
)
最新文章
- java中异常抛出后代码是否会继续执行
- js之如何获取css样式
- Cross-Origin Resource Sharing协议介绍
- android-Intent and IntentFilter
- Python基础、文件处理
- 使用selenium实现右键另存为保存文件
- 序列化.to_sym
- Template、ItemsPanel、ItemContainerStyle、ItemTemplate
- MVC构架思想
- sqlmap用户手册 [详细]
- ASP.NET 导出EXCEL文件处理多对应排列的
- Hive中常用的查询命令
- C# 打印 长字符串自动换行
- [02] Spring主要功能模块概述
- 云中树莓派（4）：利用声音传感器控制Led灯
- context、config
- （网络流 模板 Edmonds-Karp）Drainage Ditches --POJ --1273
- vmware克隆虚拟机
- The program environment for cypress cy8ckit-002
- Android--从零开始开发一款文章阅读APP