philipssoftware/fluent-bit-out-hsdp

fluent bit HSDP日志输出插件

概述

该插件用于将日志输出到HSDP Host Logging服务，适用于非Cloud Foundry环境的工作负载，帮助用户利用HSDP的集中日志设施。Fluent Bit支持解析器和过滤器插件，可将从日志输入接口收集的非结构化数据转换为结构化数据，并在摄入前修改现有结构化数据。

核心功能和特性

多云与本地部署支持

插件支持部署到云环境和本地环境。根据部署类型，可指定云环境的Region和Environment，或本地环境的IamUrl和IdmUrl。

灵活的授权机制

支持两种授权方式：

• API签名授权机制
• 具有LOG.CREATE作用域的IAM服务身份

结构化日志处理

通过Fluent Bit的解析器和过滤器插件，实现非结构化日志到结构化日志的转换，以及对现有结构化数据的修改。

使用场景和适用范围

• 非Cloud Foundry环境（如Kubernetes集群、Docker容器、物理机/虚拟机）的日志集中管理
• 需要将日志发送到HSDP Host Logging服务的应用场景
• 需对日志进行结构化处理后再摄入的场景

使用方法和配置说明

配置文件设置

在fluent-bit.conf文件中添加以下配置以启用插件：

[output]
    Name hsdp
    Match *

授权机制和HSDP日志端点的配置建议通过设置环境变量实现。

配置参数说明

通用设置

签名密钥设置

服务身份设置

注意：环境变量值优先于配置文件中的值。

记录字段映射到HSDP日志资源

LogEvent JSON消息类型

插件支持原生LogEvent JSON消息类型的完整传递，示例：

json
{
  "resourceType": "LogEvent",
  "id": "7f4c85a8-e472-479f-b772-2916353d02a4",
  "applicationName": "OPS",
  "eventId": "110114",
  "category": "TRACELOG",
  "component": "TEST",
  "transactionId": "2abd7355-cbdd-43e1-b32a-43ec19cd98f0",
  "serviceName": "OPS",
  "applicationInstance": "INST‐00002",
  "applicationVersion": "1.0.0",
  "originatingUser": "SomeUsr",
  "serverName": "ops-dev.cloud.pcftest.com",
  "logTime": "2017-01-31T08:00:00Z",
  "severity": "INFO",
  "logData": {
    "message": "VGVzdCBNZXNzYWdl"
  },
  "custom": {
    "foo": "bar"
  }
}

注意：logData.message字段必须进行base64编码。

字段映射规则

插件将特定记录字段映射到HSDP日志资源字段，下表显示映射关系及默认值：

映射到HSDP日志资源字段的字段将从日志消息转储中移除。

过滤器配置示例

以下过滤器定义展示了字段分配示例：

yaml
[filter]
    Name record_modifier
    Match *
    Record server_name ${HOSTNAME}
    Record service_name Awesome_Tool

yaml
[filter]
    Name modify
    Match *
    Copy container_name app_name
    Copy container_name service_name
    Copy component_name component
    Copy container_id app_instance

剩余字段将被渲染为JSON哈希并分配给logData.Message。

构建与部署示例

构建镜像

shell
docker build -t fluent-bit-out-hsdp .

Docker运行示例

shell
docker run --rm \
    -p 127.0.0.1:24224:24224 \
    -e HSDP_PRODUCT_KEY=product-key-here \
    -e HSDP_REGION=us-east \
    -e HSDP_ENVIRONMENT=client-test \
    -e HSDP_SERVICE_ID=my.service.id@app.prop.philips-healthsuite.com \
    -e HSDP_SERVICE_PRIVATE_KEY="$(cat service_private_key.pem)" \
    -it philipssoftware/fluent-bit-out-hsdp:latest

测试日志发送

运行上述容器后，可启动其他Docker容器并使用fluentd日志驱动将日志发送到HSDP日志服务：

shell
docker run --rm -it --log-driver fluentd alpine echo "hello world"

联系与支持

Andy Lo-A-Foe <***>

许可证

MIT许可证