segment/ecs-logs

ecs-logs

ecs-logs是用于ECS服务的日志转发工具，支持从多种源读取日志并转发至指定目标。

快速开始

使用ecs-logs的最简方式是将其作为Docker容器运行，需先配置ecs-agent将服务日志转发至journald：

1. 运行ecs-agent时设置环境变量：ECS_AVAILABLE_LOGGING_DRIVERS=["journald"]
2. 配置服务的任务定义使用journald驱动，添加以下内容：

json
"logConfiguration": {
  "logDriver": "journald",
  "options": {
    "tag": "<你的服务名称>"
  }
}

注意：tag很重要，它将作为CloudWatch日志的组名。

完成ecs-agent配置后（可在journal中看到ECS服务日志），启动ecs-logs：

bash
docker run -t -i -v /run/log/journal:/run/log/journal:ro \
    docker.xuanyuan.run/segment/ecs-logs:latest -src journald -dst cloudwatchlogs

此时服务日志应已显示在CloudWatch Logs中。

Docker镜像

• 地址：https://hub.docker.com/r/segment/ecs-logs

日志源

日志源是ecs-logs读取事件并转发至目标的日志流。日志事件可采用JSON格式，结构如下：

json
{
  "level": "<debug | info | notice | warn | error | crit | alert | emerg>",
  "time": "<ISO8601时间格式>",
  "info": {
    "host": "<主机名>",
    "source": "<文件:行:函数>",
    "id": "<消息ID>",
    "pid": <进程ID>,
    "gid": <组ID>,
    "uid": <用户ID>,
    "errors": [
      {
        "type": "<错误类型>",
        "error": "<错误消息>",
        "errno": <错误码>,
        "stack": [...]
      }
    ]
  },
  "data": { ... },
  "message": "<日志消息>"
}

所有字段均为可选，缺失时ecs-logs会使用默认值。

stdin

默认源，适用于开发和测试。需读取JSON格式对象流，结构如下：

json
{
  "group": "<日志组>",
  "stream": "<日志流>",
  "event": { ... }
}

其中group和stream用于标识日志事件归属，event需符合上述日志事件结构。

journald

生产环境常用源，ECS可轻松配置将容器日志发送至journal。该源依赖日志事件中的CONTAINER_TAG和CONTAINER_NAME元数据，分别作为日志组和流名。可通过JOURNALD_STREAM_NAME环境变量覆盖流名的元数据字段。
日志消息可为纯文本或JSON格式。若解析JSON失败，ecs-logs会生成包含完整消息的日志事件：
日志消息示例：

2016-07-05T09:08:12.123Z - INFO - hello!

生成的日志事件：

json
{
  "level": "NONE",
  "time": "<消息发送至journal的时间>",
  "info": { "host": "<主机名>" },
  "data": {},
  "message": "2016-07-05T09:08:12.123Z - INFO - hello!"
}

OSX上的使用

OSX开发时无系统journal，可通过stdin源结合https://stedolan.github.io/jq/处理日志：

shell
... | jq '. | {group: "<日志组>", stream: "<日志流>", event: .}' | ecs-logs -src stdin -dst ...

需确保服务输出ecs-logs可识别的JSON格式日志。

代理设置

如需通过代理发送日志，可设置HTTP_PROXY、HTTPS_PROXY或SOCKS_PROXY环境变量。
NO_PROXY可指定无需代理的网络。
SOCKS_PROXY需遵循host:port格式，格式错误将被忽略。