MongoDB 聚合(管道与表达式)
2024-09-27 22:47:01
MongoDB中聚合(aggregate)主要用于处理数据(诸如统计平均值,求和等)，并返回计算后的数据结果。有点类似sql语句中的 count(*)。
aggregate() 方法
MongoDB中聚合的方法使用aggregate()。
语法
aggregate() 方法的基本语法格式如下所示：
>db.COLLECTION_NAME.aggregate(AGGREGATE_OPERATION)
下表展示了一些聚合的表达式:
| 表达式 | 描述 | 实例 |
|---|---|---|
| $sum | 计算总和。 | db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$sum : "$likes"}}}]) |
| $avg | 计算平均值 | db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$avg : "$likes"}}}]) |
| $min | 获取集合中所有文档对应值得最小值。 | db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$min : "$likes"}}}]) |
| $max | 获取集合中所有文档对应值得最大值。 | db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$max : "$likes"}}}]) |
| $push | 在结果文档中插入值到一个数组中。 | db.mycol.aggregate([{$group : {_id : "$by_user", url : {$push: "$url"}}}]) |
| $addToSet | 在结果文档中插入值到一个数组中，但不创建副本。 | db.mycol.aggregate([{$group : {_id : "$by_user", url : {$addToSet : "$url"}}}]) |
| $first | 根据资源文档的排序获取第一个文档数据。 | db.mycol.aggregate([{$group : {_id : "$by_user", first_url : {$first : "$url"}}}]) |
| $last | 根据资源文档的排序获取最后一个文档数据 | db.mycol.aggregate([{$group : {_id : "$by_user", last_url : {$last : "$url"}}}]) |
管道的概念
管道在Unix和Linux中一般用于将当前命令的输出结果作为下一个命令的参数。
MongoDB的聚合管道将MongoDB文档在一个管道处理完毕后将结果传递给下一个管道处理。管道操作是可以重复的。
表达式：处理输入文档并输出。表达式是无状态的，只能用于计算当前聚合管道的文档，不能处理其它的文档。
这里我们介绍一下聚合框架中常用的几个操作：
- $project：修改输入文档的结构。可以用来重命名、增加或删除域，也可以用于创建计算结果以及嵌套文档。
- $match：用于过滤数据，只输出符合条件的文档。$match使用MongoDB的标准查询操作。
- $limit：用来限制MongoDB聚合管道返回的文档数。
- $skip：在聚合管道中跳过指定数量的文档，并返回余下的文档。
- $unwind：将文档中的某一个数组类型字段拆分成多条，每条包含数组中的一个值。
- $group：将集合中的文档分组，可用于统计结果。
- $sort：将输入文档排序后输出。
- $geoNear：输出接近某一地理位置的有序文档。
练习:
数据
> db.user.find()
{ "_id" : ObjectId("5ab8b9495a96a08a5b909000"), "name" : "qlq1", "age" : , "se
x" : "男" }
{ "_id" : ObjectId("5ab8b9535a96a08a5b909001"), "name" : "qlq2", "age" : , "se
x" : "男" }
{ "_id" : ObjectId("5ab8b9685a96a08a5b909002"), "name" : "qlq3", "age" : , "se
x" : "女" }
{ "_id" : ObjectId("5ab8b96e5a96a08a5b909003"), "name" : "qlq4", "age" : , "se
x" : "女" }
使用方法:使用管道过滤数据之后利用表达式对数据进行操作:
- 测试分组管道与表达式: $group 分组统计
1.按性别分组，并计算男女人数
db.user.aggregate([
{$group:{
_id:"$sex",
num:{$sum:}
}
}])
解释:_id:"$sex"表示按sex属性分组; $sum表示求和，如果是$sum:1就相当于count(*)，一行记录算一个
2.按性别分组，计算年龄和:
db.user.aggregate([
{$group:{
_id:"$sex",
num:{$sum:"$age"}
}
}])
3.按性别分组，并拿到每个组的第一个年龄:
db.user.aggregate([
{$group:{
_id:"$sex",
num:{$first:"$age"}
}
}])
4.先按性别分组，分完组之后将age属性映射到数组中:(相当于分完组之后查看同组的数据，mysql不能实现)
db.user.aggregate([
{$group:{
_id:"$sex",
num:{$push:"$age"}
}
}])
如果是将所有列都添加到数组中用 $push:$$ROOT
db.user.aggregate([
{$group:{
_id:"$sex",
num:{$push:"$$ROOT"}
}
}])
结果:
/* 1 */
{
"_id" : "女",
"num" : [
{
"_id" : ObjectId("5ab8b9685a96a08a5b909002"),
"name" : "qlq3",
"age" : 23.0,
"sex" : "女"
},
{
"_id" : ObjectId("5ab8b96e5a96a08a5b909003"),
"name" : "qlq4",
"age" : 24.0,
"sex" : "女"
}
]
} /* 2 */
{
"_id" : "男",
"num" : [
{
"_id" : ObjectId("5ab8b9495a96a08a5b909000"),
"name" : "qlq1",
"age" : 20.0,
"sex" : "男"
},
{
"_id" : ObjectId("5ab8b9535a96a08a5b909001"),
"name" : "qlq2",
"age" : 22.0,
"sex" : "男"
}
]
}
- $match管道: 类似于find，只是find不能统计，现在是可以过滤并统计
1.查询年龄大学23小于等于50的(只是过滤)
db.user.aggregate([
{
$match:{
age:{$gt:,$lte:}
}
}
])
2.在上面过滤的基础上聚合(先过滤，再分组)
db.user.aggregate([
{
$match:{
age:{$gt:,$lte:},
}
},
{
$group:{
_id:"$sex",
num:{
$sum:
}
}
}
])
- $project 修改输入文档的结构。可以用来重命名、增加或删除域，也可以用于创建计算结果以及嵌套文档。类似于find方法的第二个参数
1.查询年龄大学23小于等于50的，按性别分组并统计人数，并且只取人数列:
db.user.aggregate([
{
$match:{
age:{$gt:,$lte:},
}
},
{
$group:{
_id:"$sex",
num:{
$sum:
}
}
},
{
$project:{
_id:,
num:
}
}
])
解释: $project:{_id:0,num:1}表示在结果中取num列，不取_id列。
- $sort 排序。类似于sort方法，指定一列并指明排序方式
1.查询年龄大于21小于等于35并且按性别分组之后两列都取，按总数降序排列
db.user.aggregate([
{
$match:{
age:{$gt:,$lte:},
}
},
{
$group:{
_id:"$sex",
num:{
$sum:
}
}
},
{
$project:{
_id:,
num:
}
},
{
$sort:{num:-}
}
])
- $skip 跳过几列: $limit:取几列
例如:在上面排序例子的基础上先跳过1列，取1个值
db.user.aggregate([
{
$match:{
age:{$gt:,$lte:},
}
},
{
$group:{
_id:"$sex",
num:{
$sum:
}
}
},
{
$project:{
_id:,
num:
}
},
{
$sort:{num:-}
},
{
$skip:
},
{
$limit:
}
])
例如:在上面排序例子的基础上先取1列，再跳过1列 (取不到数据)
db.user.aggregate([
{
$match:{
age:{$gt:,$lte:},
}
},
{
$group:{
_id:"$sex",
num:{
$sum:
}
}
},
{
$project:{
_id:,
num:
}
},
{
$sort:{num:-}
},
{
$limit:
},
{
$skip:
}
])
- $unwind：将文档中的某一个数组类型字段拆分成多条，每条包含数组中的一个值。 将数组拆分成一个一个的数据 (相当于分组的逆操作)
构造数据:
> db.tshirt.insert({name:'t1',size:,size:["x","xxx","M"]})
WriteResult({ "nInserted" : })
> db.tshirt.find()
{ "_id" : ObjectId("5ab8c3ce807bacd3133efcf8"), "name" : "t1", "size" : [ "x", "
xxx", "M" ] }
>
例如；按size拆分数据
db.tshirt.aggregate([
{
$unwind:'$size'
}
])
对于特殊情况的处理:(非数组，不存在的列，为空数组，为null)
构造数据:
> db.tshirt.find()
{ "_id" : ObjectId("5ab8c5ea807bacd3133efcfd"), "name" : "t1", "price" : , "size" : [ "m", "xx", "l" ] }
{ "_id" : ObjectId("5ab8c5f2807bacd3133efcfe"), "name" : "t1", "price" : , "size" : [ ] }
{ "_id" : ObjectId("5ab8c608807bacd3133efcff"), "name" : "t3", "price" : , "size" : "3x" }
{ "_id" : ObjectId("5ab8c62e807bacd3133efd02"), "name" : "t3", "price" : }
{ "_id" : ObjectId("5ab8c746807bacd3133efd03"), "name" : "t3", "price" : , "size" : null }
>
1.直接拆分:()
db.tshirt.aggregate([
{
$unwind:'$size'
}
])
结果:发现数据丢失(字段不存在的和属性值为null的数据丢失)
2.拆分且防止数据丢失
db.tshirt.aggregate([
{
$unwind:{
path:"$size",
preserveNullAndEmptyArrays:true #为true表示防止空数组和null丢失
}
}
])
例如:按价格进行分组之后将数据映射到数组中，并按此列拆分数据
db.tshirt.aggregate([
{
$group:{
_id:"$price",
docs:{
$push:"$$ROOT"
}
}
},
{
$project:{
_id:,
docs:
}
},
{
$unwind:{
path:"$docs",
preserveNullAndEmptyArrays:true
}
}
])
结果:
/* 1 */
{
"_id" : 93.0,
"docs" : {
"_id" : ObjectId("5ab8c608807bacd3133efcff"),
"name" : "t3",
"price" : 93.0,
"size" : "3x"
}
} /* 2 */
{
"_id" : 93.0,
"docs" : {
"_id" : ObjectId("5ab8c62e807bacd3133efd02"),
"name" : "t3",
"price" : 93.0
}
} /* 3 */
{
"_id" : 93.0,
"docs" : {
"_id" : ObjectId("5ab8c746807bacd3133efd03"),
"name" : "t3",
"price" : 93.0,
"size" : null
}
} /* 4 */
{
"_id" : 90.0,
"docs" : {
"_id" : ObjectId("5ab8c5ea807bacd3133efcfd"),
"name" : "t1",
"price" : 90.0,
"size" : [
"m",
"xx",
"l"
]
}
} /* 5 */
{
"_id" : 90.0,
"docs" : {
"_id" : ObjectId("5ab8c5f2807bacd3133efcfe"),
"name" : "t1",
"price" : 90.0,
"size" : []
}
}
最新文章
- MVP社区巡讲-云端基础架构：12月5日北京站 12月12日上海站
- Java 反射 使用总结
- 3种方法修改PHP时区
- java基础 swing编程实战
- VC++6.0 Win32 C2065:SM_XVIRTUALSCREEN
- 纯css实现二级导航菜单效果,通过简单的鼠标事件操作页面元素样式变换实现二级导航菜单的功能,非常简单实用,
- pgm revert转换 成jpg 人脸识别图片
- 使用Github Pages创建自己的网站
- 格林治时间，也就是返回从 UTC 1970 年 1 月 1 日午夜开始经过的毫秒数。
- strcpy and memcpy
- 第六章SignalR的服务器广播
- spring 源码之 ioc 容器的初始化和注入简图
- SWIFT学习笔记01
- Android KitCat 4.4.2 ADB 官方所支持的所有Services格式翻译
- 1.11 str 字符串
- 重新发现MATLAB
- jquery案例
- Java开发面试题，3年工作经验的Java程序员面试经
- SQLite占用资源少原因
- Weblate 2.11安装配置文档