MongoDB存储Docker日志怎么样应用?
Admin 2021-05-15 群英技术资讯 1452 次浏览
文本主要给大家介绍的是MongoDB存储Docker日志,我们知道日志是系统中很重要的一部分,我们能够利用日志发现和修复很多问题,因此了解日志是很有必要的。废话不多,下面就跟随小编一起来了解一下MongoDB存储Docker日志吧。
日志是系统很重要的一个组成部分,通过日志可以及时发现系统中存在的问题,也可以为修复问题提供线索。Docker提供了多种插件方式管理日志,本文就对使用MongoDB存储Docker日志的过程做个记录。
数据流

Docker产生的日期 发送到 FluentD,然后FluentD在转存到MongoDB。
配置Fluentd
前提:操作系统是CentOS7,已安装MongoDB3.4
1. 安装Fluentd
CentOS 7的软件库并没有包含Fluentd的安装包,所以需要手动安装。在CentOS使用的软件td-agent。
# curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh
上面命令会在/etct/yum.repo.d/目录中,创建一个td-agent的安装库 td.repo,然后自动安装td-agent。安装完毕后设为自动启动。
# systemctl start td-agent # systemctl enable td-agent
如果在启动过程中出现问题,可以查看位于/var/log/td-agent/下日志文件td-agent.log
2. 配置将docker日志转存到MongoDB
转存到MongoDB需要插件支持,但是默认情况下td-agent是没有安装该插件的,需要安装。
# yum -y install td-agent-gemt # td-agent-gem install fluent-plugin-mongo
编辑/etc/td-agent/td-agent.conf,增加
## match tag=docker.* and dump to mongodb ## 在docker启动容器时,日志的tag要符合docker.*的形式 <match docker.*> @type mongo # 数据库地址 host 127.0.0.1 # 数据库端口 port 22017 # 存储日志的数据库和数据集名称 database docker collection log </match>
重启td-agent。
启动容器
启动容器的命令改为:
$ docker run --mount type=bind,source=/home/demo/app,destination=/app --log-driver=fluentd
--log-opt tag="docker.log" python3:latest python3 /app/test.py
运行完毕后,可以到MongoDB中查看日志。
后续
但是在实际的使用过程中,却发现Docker生成的日志并不会立即写入到MongoDB中,有大概1分钟左右的延迟。
查阅Fluentd的文档得知,有一个flush参数可以控制日志的写入频率,默认的是60s。更改flush_interval参数就可以提高写入频率,具体更改如下:
## match tag=docker.* and dump to console <match docker.*> @type mongo host 127.0.0.1 port 22017
database docker collection log <buffer> flush_mode interval flush_interval 1s </buffer> </match>
刚开始对文档理解不太透彻,增加了flush_interval参数后,并没有发挥作用,第一次更改时,并没有将flush_mode和flush_interval放在buffer结构中。也就是:
## match tag=docker.* and dump to console <match docker.*> @type mongo host 127.0.0.1 port 22017
database docker collection log flush_mode interval flush_interval 1s </match>
从日志中也可以看出上面的配置,并没有发挥作用:
2018-01-19 14:33:32 +0800 [warn]: parameter '**flush_mode**' in <match docker.*> @type mongo host "1270.0.0.1" port 22017 database "docker" collection "log" flush_mode interval flush_interval 1s buffer_chunk_limit 8m time_key time <inject> time_key time time_format %Y-%m-%d %H:%M:%S.%L </inject> </match> is not used.
上面说flush_mode并没有起作用。
总结
现在大家对于MongoDB存储Docker日志的使用应该都有所了解了,上述示例有一定的借鉴价值,有需要的朋友可以参考一下,希望对大家了解MongoDB日志有帮助。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。
猜你喜欢
mac环境下mongodb无法启动的原因:1、mongodb没有启动;2、没有db文件夹;3、因意外造成mongodb服务非正常关闭且造成mongodb服务无法正常启动;4、Permission denied。
数据类型是数据库学习需要掌握的知识,对此这篇文章给大家分享有关MongoDB数据类型的内容,小编觉得挺实用的,需要的朋友可以参考学习,下面就跟随小编看看吧。
MongoDB 自动增长 MongoDB 没有像 SQL 一样有自动增长的功能, MongoDB 的 _id 是系统自动生成的12字节唯一标识。 但在某些情况下,我们可能需要实现 ObjectId 自动增长功能。 由于 MongoDB 没有实现这个功能,我们可以通过编程的方式来实现,以下我们将在 counters 集合中实现_id字段自动增长。 使用 counters 集合 考虑以下 products 文档。我们希望 _id 字..
这篇文章主要介绍的是mongodb官方的golang驱动的使用,包括导入,链接,删除慢,查询等操作,感兴趣的朋友可以参考参考,下面就跟随小编一起来学习吧。
MongoDB $type 操作符 描述 在本章节中,我们将继续讨论MongoDB中条件操作符 $type。 $type操作符是基于BSON类型来检索集合中匹配的数据类型,并返回结果。 MongoDB 中可以使用的类型如下表所示: 类型 数字 备注 Double 1 String 2 Object 3 Array 4 Binary da..
成为群英会员,开启智能安全云计算之旅
立即注册关注或联系群英网络
7x24小时售前:400-678-4567
7x24小时售后:0668-2555666
24小时QQ客服
群英微信公众号
CNNIC域名投诉举报处理平台
服务电话:010-58813000
服务邮箱:service@cnnic.cn
投诉与建议:0668-2555555
Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所有
增值电信经营许可证 : B1.B2-20140078 粤ICP备09006778号 域名注册商资质 粤 D3.1-20240008