bitnamicharts/logstash

Bitnami Logstash 镜像文档

镜像概述和主要用途

Logstash 是一款开源数据处理引擎，能够实时从多个来源摄入数据、进行转换处理并将结果输出到指定目的地。作为 ELK (Elasticsearch, Logstash, Kibana) 技术栈的核心组件，它主要用于日志聚合、数据转换和实时数据流处理。Bitnami 提供的 Logstash 镜像经过优化，支持在 Kubernetes 环境中通过 Helm 包管理器快速部署，同时提供安全加固选项和灵活的配置能力。

Logstash 官方概述

商标说明：本软件列表由 Bitnami 打包，所提及的商标归各自公司所有，使用不意味着任何关联或认可。

核心功能和特性

• 多源数据摄入：支持从文件、网络、消息队列等多种来源采集数据
• 实时数据处理：提供丰富的过滤插件，支持数据转换、过滤和 enrichment
• 多管道架构：支持创建多个独立数据处理管道，实现复杂数据流管理
• 灵活输出：可将处理后的数据发送到 Elasticsearch、文件、数据库等多种目标
• 安全加固：遵循 Bitnami Secure Images 标准，减小***面并提供 CVE 透明度
• Kubernetes 原生支持：通过 Helm Chart 实现与 Kubernetes 环境的无缝集成
• 自定义配置：支持通过 ConfigMap 或参数直接注入输入、过滤和输出插件配置

使用场景和适用范围

• 日志聚合与分析：集中收集、解析和存储来自多个应用或系统的日志
• 实时数据流处理：对 IoT 设备、应用事件等实时数据进行过滤和转换
• ELK 技术栈部署：作为日志处理中枢，与 Elasticsearch 和 Kibana 协同工作
• 数据迁移与转换：在不同存储系统间进行数据格式转换和迁移
• 开发与生产环境：提供开发用镜像和生产级安全加固镜像，满足不同阶段需求

TL;DR

console
helm install my-release oci://registry-1.docker.io/bitnamicharts/logstash

生产环境建议使用 VMware Tanzu Application Catalog（Bitnami 目录商业版）获取长期支持。

⚠️ 重要通知：Bitnami 目录即将变更

自 2025 年 8 月 28 日起，Bitnami 将启动 Bitnami Secure Images 计划，对公共镜像目录进行重大调整：

• 安全镜像开放：首次向社区用户提供安全优化版容器镜像
• 镜像 deprecation：逐步弃用非加固 Debian 基础镜像，免费层仅保留少量加固镜像（仅含 "latest" 标签，用于开发目的）
• 镜像迁移：两周内，所有现有镜像（含历史版本标签，如 2.50.0、10.6）将从 docker.io/bitnami 迁移至 docker.io/bitnamilegacy 仓库，且不再更新
• 生产建议：生产环境推荐使用 Bitnami Secure Images，包含加固容器、SBOM、CVE 透明度及企业支持

更多详情参见 https://github.com/bitnami/containers/issues/83267%E3%80%82

前提条件

• Kubernetes 集群版本 1.23+
• Helm 包管理器 3.8.0+

安装方法

Helm Chart 安装

使用以下命令安装默认配置的 Logstash Chart，发布名称为 my-release：

console
helm install my-release oci://REGISTRY_NAME/REPOSITORY_NAME/logstash

替换占位符：REGISTRY_NAME 为镜像仓库（如 registry-1.docker.io），REPOSITORY_NAME 为存储库（如 bitnamicharts）。

验证安装

console
# 列出 Helm 发布
helm list

# 检查 Pod 状态
kubectl get pods -l app.kubernetes.io/name=logstash

# 查看 Logstash 日志
kubectl logs -f <logstash-pod-name>

配置说明

资源配置

通过 resources 参数设置容器资源请求和限制，生产环境建议显式配置：

yaml
resources:
  requests:
    cpu: 500m
    memory: 512Mi
  limits:
    cpu: 1000m
    memory: 1Gi

也可使用 resourcesPreset 参数选择预设配置（仅推荐开发环境）。

服务暴露

支持多种服务暴露方式，通过 service.type 配置：

• ClusterIP（默认）：仅集群内访问

  yaml
  service:
    type: ClusterIP
    port: 8080
  

• NodePort：节点端口暴露

  yaml
  service:
    type: NodePort
    nodePort: 30080
  

• Load***：云厂商负载均衡器

  yaml
  service:
    type: LoadBalancer
    loadBalancerIP: "x.y.z.w"
  

• Ingress：HTTP/HTTPS 路由

  yaml
  ingress:
    enabled: true
    hostname: logstash.example.com
    tls: true
  

自定义配置

基础配置

通过 input、filter 和 output 参数直接定义处理流程：

yaml
input: |
  beats {
    port => 5044
  }

filter: |
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }

output: |
  elasticsearch {
    hosts => ["elasticsearch:9200"]
    index => "logstash-%{+YYYY.MM.dd}"
  }
  stdout { codec => rubydebug }

外部配置

使用现有 ConfigMap 挂载配置（优先级高于上述参数）：

yaml
existingConfiguration: "my-logstash-config"

ConfigMap 需包含 Logstash 配置文件（如 logstash.conf）：

bash
kubectl create configmap my-logstash-config --from-file=logstash.conf

多管道配置

启用多管道支持需设置 enableMultiplePipelines: true 并提供 pipelines.yml 配置：

1. 创建包含多管道配置的 ConfigMap：

   bash
   # 创建配置文件
   cat > pipelines.yml <<EOF
   - pipeline.id: access_logs
     path.config: "/opt/bitnami/logstash/config/access.conf"
   - pipeline.id: error_logs
     path.config: "/opt/bitnami/logstash/config/error.conf"
   EOF
   
   cat > access.conf <<EOF
   input { tcp { port => 5000 } }
   output { elasticsearch { index => "access-%{+YYYY.MM.dd}" } }
   EOF
   
   cat > error.conf <<EOF
   input { tcp { port => 5001 } }
   output { elasticsearch { index => "error-%{+YYYY.MM.dd}" } }
   EOF
   
   # 创建 ConfigMap
   kubectl create cm logstash-multipipeline --from-file=pipelines.yml --from-file=access.conf --from-file=error.conf
   

2. 部署启用多管道：

   bash
   helm install logstash bitnamicharts/logstash \
     --set enableMultiplePipelines=true \
     --set existingConfiguration=logstash-multipipeline
   

环境变量配置

通过以下方式注入环境变量：

• 直接定义：

  yaml
  extraEnvVars:
    - name: ELASTICSEARCH_USER
      value: "logstash_user"
  

• 从 Secret 注入：

  yaml
  extraEnvVarsSecret: "logstash-secrets"  # 包含 ELASTICSEARCH_PASSWORD 等密钥
  

• 从 ConfigMap 注入：

  yaml
  extraEnvVarsCM: "logstash-env"  # 包含非敏感配置
  

持久化配置

Logstash 数据默认存储在 /bitnami/logstash/data，通过 PVC 持久化：

yaml
persistence:
  enabled: true
  storageClass: "standard"
  size: 10Gi
  path: "/bitnami/logstash/data"

设置 persistence.enabled: false 可禁用持久化（仅推荐开发环境）。

参数说明

全局参数

Logstash 核心参数

资源与网络参数

持久化参数

备份与恢复

使用 Velero 工具进行备份和恢复：

1. 安装 Velero 并配置存储后端
2. 创建备份：

   bash
   velero backup create logstash-backup --include-resources=pvc,pv --selector app.kubernetes.io/name=logstash
   

3. 恢复备份：

   bash
   velero restore create --from-backup logstash-backup
   

详细步骤参见 Bitnami 备份指南

注意事项

• 镜像迁移：2025 年 8 月 28 日后，旧版本镜像将迁移至 docker.io/bitnamilegacy 仓库，不再更新
• 生产环境：推荐使用 Bitnami Secure Images，提供加固容器和长期支持
• 资源规划：根据数据吞吐量调整 CPU 和内存资源，避免性能瓶颈
• 配置验证：修改配置后建议通过 logstash -t 验证配置语法正确性

完整文档参见 https://github.com/bitnami/charts/blob/main/bitnami/logstash/README.md