mongodb聚合查询学习之详解按天聚合查询示例
Admin 2021-05-17 群英技术资讯 960 次浏览
文本给大家分享是关于mongodb聚合查询的内容,介绍了mongodb中按天进行聚合查询的的实例,具有一定的借鉴价值,需要的朋友可以参考,下面我们就一起来看看。
最近遇到一个问题,使用mongodb记录了用例的执行结果,但是在时间的记录上使用的是date格式,现在有一个需求,以天为单位,统计一下每天成功的用例和失败的用例,说到统计,肯定是要用到聚合查询,但是如果以date格式的时间为group依据,那么等同于没有分组,因为在记录用例的时间几乎不可能同时,今天查阅了一下相关文档,可以使用mongodb的$dateToString命令来完成这个需求
问题来源
假如我们以如下的数据
/* 1 */
{
"_id" : ObjectId("5d24c09651a456efbc231669"),
"time" : ISODate("2019-07-08T10:12:35.125Z"),
"result" : "Pass"
}
/* 2 */
{
"_id" : ObjectId("5d24c09e51a456efbc23166a"),
"time" : ISODate("2019-07-08T10:12:36.125Z"),
"result" : "Pass"
}
...
...
/* 10 */
{
"_id" : ObjectId("5d24c0d851a456efbc231672"),
"time" : ISODate("2019-07-06T10:10:52.125Z"),
"result" : "Pass"
}
/* 11 */
{
"_id" : ObjectId("5d24c0e751a456efbc231673"),
"time" : ISODate("2019-07-06T10:10:52.125Z"),
"result" : "Fail"
}
我的预期结果是
{'_id': '2019-07-06', 'Pass': 1}
{'_id': '2019-07-06', 'Fail': 2}
{'_id': '2019-07-07', 'Pass': 2}
{'_id': '2019-07-07', 'Fail': 1}
{'_id': '2019-07-08', 'Pass': 2}
{'_id': '2019-07-08', 'Fail': 3}
如果按照以前的聚合方式,通过$time来分组,由于每个时间都不相同,所以这样的聚合就相当于没有聚合
#coding:utf-8
from pymongo import MongoClient
client = MongoClient(host=['%s:%s'%("127.0.0.1",27017)])
G_mongo = client['test']
pipeline = [
{'$group': {'_id': '$time', 'count': {'$sum': 1}}},
]
for i in G_mongo['test'].aggregate(pipeline):
print(i)
得到的结果
{'_id': datetime.datetime(2019, 7, 6, 10, 10, 32, 125000), 'count': 1}
{'_id': datetime.datetime(2019, 7, 7, 10, 10, 32, 125000), 'count': 1}
{'_id': datetime.datetime(2019, 7, 8, 10, 11, 22, 125000), 'count': 1}
{'_id': datetime.datetime(2019, 7, 6, 10, 10, 52, 125000), 'count': 1}
{'_id': datetime.datetime(2019, 7, 8, 10, 11, 32, 125000), 'count': 1}
{'_id': datetime.datetime(2019, 7, 8, 10, 12, 32, 125000), 'count': 1}
{'_id': datetime.datetime(2019, 7, 7, 10, 11, 22, 125000), 'count': 1}
{'_id': datetime.datetime(2019, 7, 8, 10, 12, 36, 125000), 'count': 1}
{'_id': datetime.datetime(2019, 7, 8, 10, 12, 35, 125000), 'count': 1}
{'_id': datetime.datetime(2019, 7, 7, 10, 10, 22, 125000), 'count': 1}
可以看到,由于$time上的时间,谁和谁都不一样,所以如果以$time为分组对象的话每个统计都是1。
问题的解决
在分组的时候有一个$dateToString指令,可以将日期格式的值转化为字符串,比如这里因为需求是要以天为单位,所以我将其转为%Y-%m-%d的字符串格式,具体的$grouop如下
{'$group': {'_id': {"$dateToString":{'format':'%Y-%m-%d','date':'$time'}}, 'count': {'$sum': 1}}}
$dateToString的说明文档可以访问https://docs.mongodb.com/manual/reference/operator/aggregation/dateToString/ 查看,简单介绍一个
{ $dateToString: {
date: <dateExpression>,
format: <formatString>,
timezone: <tzExpression>,
onNull: <expression>
} }
它需要四个参数,只有date参数是必须的,指定数据来源,format是转化的格式,timezone为时区,onNull是如果日期值不存在时返回的值。
#coding:utf-8
from pymongo import MongoClient
client = MongoClient(host=['%s:%s'%("127.0.0.1",27017)])
G_mongo = client['test']
pipeline = [
# {'$group': {'_id': '$time', 'count': {'$sum': 1}}},
{'$group': {'_id': {"$dateToString":{'format':'%Y-%m-%d','date':'$time'}}, 'count': {'$sum': 1}}}
]
for i in G_mongo['test'].aggregate(pipeline):
print(i)
上面代码执行的结果如下
{'_id': '2019-07-06', 'count': 2}
{'_id': '2019-07-07', 'count': 3}
{'_id': '2019-07-08', 'count': 5}
这个看起来还不错,但是离我的目标还差一点,因为它还没有按照用例执行结果进行分组,再以天进行倒序排列
#coding:utf-8
from pymongo import MongoClient
client = MongoClient(host=['%s:%s'%("127.0.0.1",27017)])
G_mongo = client['test']
pipeline = [
# {'$group': {'_id': '$time', 'count': {'$sum': 1}}},
{'$group': {'_id': {'date':{"$dateToString":{'format':'%Y-%m-%d','date':'$time'}},'result':'$result'}, 'count': {'$sum': 1}}},
{'$sort':{"_id.date":-1}}
]
for i in G_mongo['test'].aggregate(pipeline):
print(i)
得到的结果如下
{'_id': {'date': '2019-07-08', 'result': 'Fail'}, 'count': 3}
{'_id': {'date': '2019-07-08', 'result': 'Pass'}, 'count': 2}
{'_id': {'date': '2019-07-07', 'result': 'Pass'}, 'count': 2}
{'_id': {'date': '2019-07-07', 'result': 'Fail'}, 'count': 1}
{'_id': {'date': '2019-07-06', 'result': 'Fail'}, 'count': 1}
{'_id': {'date': '2019-07-06', 'result': 'Pass'}, 'count': 2}
查看文档,除了使用$dateToString指令还可以使用$dayOfMonth指令
pipeline = [
{'$group': {'_id': {'date':{"$dayOfMonth":{'date':'$time'}},'result':'$result'}, 'count': {'$sum': 1}}},
{'$sort':{"_id.date":-1}},
]
但是这个指令只能适用于单一月份,如果两个月就会有交集,如7月6号和6月6号的会聚合到一起。上面得到的结果是
{'_id': {'date': 8, 'result': 'Fail'}, 'count': 3}
{'_id': {'date': 8, 'result': 'Pass'}, 'count': 2}
{'_id': {'date': 7, 'result': 'Pass'}, 'count': 2}
{'_id': {'date': 7, 'result': 'Fail'}, 'count': 1}
{'_id': {'date': 6, 'result': 'Pass'}, 'count': 2}
{'_id': {'date': 6, 'result': 'Fail'}, 'count': 1}
所以需要根据需求灵活的使用各种指令。
总结
以上就是关于mongodb聚合查询的实例介绍,希望对大家学习或者工作有帮助,更多mongodb聚合查询的内容库关注其他文章。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。
猜你喜欢
本文给大家介绍的关于MongoDB分布式集群的内容,要想更好的运用MongoDB,对MongoDB分布式集群的充分了解是有必要的,下面就跟随小编深入了解MongoDB 分布式集群吧。
相信很多人应该都有文件、数据备份的习惯,其中MongoDB存储的数据量较大,因此备份文件也是比较大,那么就需要对MongoDB备份压缩,下面小编就给大家分享关于MongoDB实现备份压缩的方法,需要的朋友可以参考。
MongoDB中更新文档的update()方法:1、命令为db.collection.update( criteria, objNew, upsert, multi );2、参数criteria用于指定一个查询,查询选择将要更新的目标记。
这篇文章给大家分享的是有关MongoDB中的常用操作的内容,小编觉得挺实用的,因此分享给大家做个参考。下文整理了很多MongoDB操作技巧,感兴趣的朋友接下来一起跟随小编看看吧。
mongodb存储文件的方法:mongodb中可以使用GridFS类来存储文件,主要存放在fs中,可以把文件存储为二进制格式。
成为群英会员,开启智能安全云计算之旅
立即注册关注或联系群英网络
7x24小时售前:400-678-4567
7x24小时售后:0668-2555666
24小时QQ客服
群英微信公众号
CNNIC域名投诉举报处理平台
服务电话:010-58813000
服务邮箱:service@cnnic.cn
投诉与建议:0668-2555555
Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所有
增值电信经营许可证 : B1.B2-20140078 粤ICP备09006778号 域名注册商资质 粤 D3.1-20240008