兴国资源网

详解Docker容器的日志处理
站长资源 2024/11/1 佚名
2 0
兴国资源网 Design By www.nnzcdc.com

Docker有很多的日志插件，默认使用 json-file，只有使用json-file时，sudo docker logs -f 才可以显示，输入以下命令查看docker日志插件：

$ sudo docker info | grep Logging

这里先说明一下，当容器运行时，docker会在宿主机上创建一个该容器相关的文件，然后将容器产生的日志转存到该文件下。docker logs -f 命令就会找到该文件内容并显示在终端上。

我们都知道docker logs -f会将所有对应的服务日志输出到终端，无论服务的部署在哪个节点上，那么我现在提出一个问题，是否每个节点对应的容器文件，都会保存该服务的完整日志备份，还是只保存该节点服务对应容器产生的日志？

因为这个问题涉及到每个节点如果都用filebeat监听宿主机的容器日志文件，那么如果每个节点的容器日志都是一个完整的备份，日志就会重复，如果只是保存该节点上容器的日志，就不会。

答案是只保留该节点上容器的日志，docker logs -f 命令只不过在overlay网络模型上走了一层协议，把在其它节点上的相同的容器日志汇聚起来。

默认使用docker的json-file，首先配置daemon：

$ sudo dockerd --log-driver=json-file --log-opt labels=servicename

启动容器需要添加如下参数：

$ sudo docker service update --label servicename=test

或者直接在docker-compose.yml中标记：

version: "3"

services:
 go-gin-demo:
  image: chenghuizhang/go-gin-demo:v3
  ports:
   - 8081:8081
  networks:
   - overlay
  deploy:
   mode: replicated
   replicas: 3
  labels:
   servicename: go-gin-demoxxxxxxx
  logging:
   options:
    labels: "servicename"

networks:
 overlay:

在每个节点安装filebeat，并且filebeat.yml配置如下：

filebeat.prospectors:
- type: log
  paths:
  		# 容器的日志目录
   - /var/lib/docker/containers/*/*.log
   # 因为docker使用的log driver是json-file，因此采集到的日志格式是json格式，设置为true之后，filebeat会将日志进行json_decode处理
  json.keys_under_root: true
  tail_files: true
output.logstash:
 hosts: ["172.17.10.114:5044"]

在logstash.conf中配置索引：

output {
 elasticsearch {
  action => "index"
  hosts => ["172.17.10.114:9200"]
  # 获取日志label
  index => "%{attrs.servicename}-%{+YYYY.MM.dd}"
 }
}

Dockerfile文件需要将项目输出的日志打印到stdout和stderr中，不然json-file日志驱动不会收集到容器里面输出的日志，sudo docker logs -f就在终端显示不了容器日志了，在Dockerfile中需加入以下命令：

RUN ln -sf /dev/stdout /xx/xx.log \ # info
	&& ln -sf /dev/stderr /xx/xx.log # error

或者在在项目的log4j配置输出控制台：

<Appenders>
  <Console name="Console" target="SYSTEM_OUT">
    <PatternLayout pattern="[%d{DEFAULT}]%m"/>
  </Console>
</Appenders>

如果日志需要记录容器id名称和镜像名称，在运行容器时可以加入以下参数：

--log-opt tag="//"

详解Docker容器的日志处理

最终，json-file日志插件将容器打印到控制台的日志生成到本地 /var/lib/docker/containers/*/ 目录中，格式如下：

{
  "log":"[GIN-debug] [WARNING] Now Gin requires Go 1.6 or later and Go 1.7 will be required soon.",
  "stream":"stderr",
  "attrs":{
    "tag":"chenghuizhang/go-gin-demo:v3@sha256:e6c0419d64e5eda510056a38cfb803750e4ac2f0f4862d153f7c4501f576798b/mygo.2.jhqptjugfti2t4emf55sehamo/647eaa4b3913",
    "servicename":"test"
  },
  "time":"2019-01-29T10:08:59.780161908Z"
}

在logstash中格式化日志：

filter {
 grok {
  patterns_dir => "/etc/logstash/conf.d/patterns"
  match => {"message" => "%{TIMESTAMP_ISO8601:time}%{SERVICENAME:attr.servicename}%{DOCKER_TAG:attr.tag}"}
}

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。

兴国资源网 Design By www.nnzcdc.com
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
兴国资源网 Design By www.nnzcdc.com
www.nnzcdc.com 兴国资源网
39,976影音资源
44,792技术资源
21,817软件资源
651,128站长资源

更新日志

友情链接

杰晶网络 DDR爱好者之家 桃源资源网 杰网资源 富贵资源网 南强小屋 铁雪资源网 幽灵资源网 万梅资源网 狼山资源网 白云岛资源网 昆仑资源网 相思资源网 明霞山资源网 内蒙古资源网 黑松山资源网 茶园资源网 饿虎岗资源网 大旗谷资源网 常春岛资源网 岱庙资源网 兴国资源网 快活林资源网 蝙蝠岛资源网 帝王谷资源网 白云城资源网 伏龙阁资源网 清风细雨楼 天枫庄资源网 圆月山庄资源网 无争山庄资源网 神水资源网 移花宫资源网 神剑山庄资源网 无为清净楼资源网 金钱帮资源网 丐帮资源网 华山资源网 极乐门资源网 小李飞刀资源网 凤求凰客栈 风云阁资源网 金狮镖局 鸳鸯亭资源网 千金楼资源网 更多链接
兴国资源网 Design By www.nnzcdc.com