honeycombio/honeyaws

honeyaws 镜像文档

镜像概述和主要用途

honeyaws是一组用于实现AWS基础设施可观测性的程序集合。它通过从AWS获取基础设施信息（如负载均衡器、CDN等服务的访问日志），并将数据发布到Honeycomb平台作为事件，供后续查询分析和问题调试。该镜像包含两个核心工具：honeyelb（用于摄取Elastic Load ***访问日志）和honeycloudfront（用于摄取CloudFront访问日志）。目前，Honeycomb AWS Bundle处于beta阶段，可正常使用，但可能存在少量未完善之处或bug。

核心功能和特性

• honeyelb：专门用于采集Elastic Load ***（ELB）的访问日志，将日志数据结构化并转换为事件发送至Honeycomb。
• honeycloudfront：用于采集CloudFront CDN的访问日志，同样将日志数据转换为标准化事件并发送至Honeycomb平台。
• 无缝集成Honeycomb：支持将AWS基础设施事件数据实时发布到Honeycomb，利用其查询和可视化能力进行可观测性分析。
• 日志数据处理：自动解析AWS服务日志格式，提取关键指标（如请求时间、状态码、客户端信息等），便于后续分析。

使用场景和适用范围

• ELB访问监控：需要分析Elastic Load ***流量来源、请求延迟、错误率等指标的场景。
• CloudFront性能分析：需监控CDN访问分布、缓存命中率、内容传输性能及用户访问体验的场景。
• AWS基础设施调试：适用于开发和运维团队通过访问日志排查AWS服务异常、优化系统性能的场景。

使用方法和配置说明

前提条件

• 已注册Honeycomb账号并获取有效的API密钥。
• 已配置AWS访问权限（如IAM角色），允许程序访问ELB或CloudFront的日志存储位置（通常为S3存储桶）。

工具使用流程

1. 获取源码或镜像：通过GitHub仓库获取工具源码或构建Docker镜像（官方未提供公开Docker镜像，建议参考源码构建）。

   bash
   git clone https://github.com/honeycombio/honeyaws.git
   cd honeyaws
   

2. 配置环境变量：根据使用的工具（honeyelb或honeycloudfront）设置必要参数，主要包括：

   • HONEYCOMB_API_KEY：Honeycomb平台API密钥
   • HONEYCOMB_DATASET：目标数据集名称
   • AWS_REGION：AWS服务所在区域
   • S3_BUCKET：存储AWS日志的S3桶名称
   • LOG_PREFIX：日志文件在S3桶中的路径前缀

3. 运行工具：以honeyelb为例，执行以下命令启动日志摄取：

   bash
   # 示例：运行honeyelb监控ELB日志
   ./honeyelb --bucket my-elb-logs-bucket --prefix elb-logs/ --dataset elb-access-logs
   

配置参数说明

注意事项

• 该工具集处于beta阶段，可能存在功能稳定性问题，建议在生产环境中谨慎使用，并关注GitHub仓库获取更新。
• 确保AWS IAM权限配置正确，需授予程序读取S3桶日志文件的权限。
• 根据日志量合理配置轮询间隔，避免频繁请求导致AWS API调用限制或Honeycomb数据流量过大。