jkroepke/github_exporter

github_exporter

镜像概述和主要用途

github_exporter是一个从GitHub API导出各种GitHub仓库指标（包括洞察和流量指标）到Prometheus兼容端点的工具。它支持通过GitHub GraphQL API V4和REST API V3获取数据，提供丰富的仓库指标，帮助用户监控GitHub仓库的活动、性能和健康状况。

核心功能和特性

• 多指标支持：导出包括仓库基本信息、流量数据（克隆数、访问量）、贡献者统计、速率限制、分支/标签/发布数量等多种指标
• 灵活的抓取目标：支持指定GitHub组织、用户或单个仓库作为抓取目标
• 配置选项丰富：可自定义抓取间隔、请求分散策略、日志级别等参数
• Prometheus兼容：指标格式符合Prometheus规范，可直接被Prometheus抓取
• API速率限制管理：支持监控GitHub API速率限制，并提供策略减少速率限制问题

使用场景和适用范围

• GitHub仓库监控：跟踪仓库活跃度、贡献情况和流量数据
• DevOps监控栈集成：作为Prometheus数据源，结合Grafana等工具构建可视化面板
• CI/CD流程监控：监控与仓库相关的CI状态和发布情况
• 组织级仓库管理：集中监控组织内多个仓库的健康状况和使用情况

关于速率限制和滥用警告

github_exporter使用GitHub https://developer.github.com/v4/ 和 https://developer.github.com/v3/%EF%BC%8C%E4%B8%A4%E8%80%85%E6%9C%89%E7%8B%AC%E7%AB%8B%E7%9A%84%E9%80%9F%E7%8E%87%E9%99%90%E5%88%B6%E3%80%82%E4%BD%BF%E7%94%A8%E4%B8%AA%E4%BA%BA%E8%AE%BF%E9%97%AE%E4%BB%A4%E7%89%8C%E6%97%B6%EF%BC%8C%E9%BB%98%E8%AE%A4%E9%99%90%E5%88%B6%E4%B8%BA5000%E8%AF%B7%E6%B1%82/%E5%B0%8F%E6%97%B6%E3%80%82

为避免速率限制或滥用错误，强烈建议配置较长的抓取间隔。如仍有问题，应启用spread参数以在抓取间隔内分散请求。

更多信息：

• https://developer.github.com/v3/#rate-limiting
• https://developer.github.com/v4/guides/resource-limitations/

GitHub Token

强烈建议使用GitHub令牌。

如何获取令牌：https://help.github.com/en/github/authenticating-to-github/creating-a-personal-access-token-for-the-command-line#creating-a-token

更多信息：

• https://developer.github.com/v3/#authentication
• https://developer.github.com/v4/guides/forming-calls/#authenticating-with-graphql

使用方法

命令行参数

index.js -t <token> -i 600 [ -s ] [ -l :: ] [ -p 9171 ] [ -o organization ] [ -u user ] [ -r owner/repository ]

抓取设置:
  --interval, -i  抓取间隔  [数字] [默认值: 600]
  --spread, -s    在间隔内分散请求  [布尔值] [默认值: false]
  --scraper, -S   启用或禁用抓取器  [数组] [默认值: ["summarize","extended-summarize","rate-limit","contributors","status","traffic-clones","traffic-top-paths","traffic-top-referrers","traffic-views"]]

抓取目标:
  --organization, -o  要抓取的GitHub组织。可多次定义或用逗号分隔列表  [数组] [默认值: []]
  --user, -u          要抓取的GitHub用户。可多次定义或用逗号分隔列表  [数组] [默认值: []]
  --repository, -r    要抓取的GitHub仓库。可多次定义或用逗号分隔列表。格式: <所有者>/<仓库>  [数组] [默认值: []]

绑定选项:
  --host      导出器绑定地址  [默认值: "::"]
  --port, -p  导出器绑定端口  [数字] [默认值: 9171]

日志选项:
  --log-level    应用日志级别  [选项: "error", "warn", "info", "http", "verbose", "debug", "silly"] [默认值: "info"]
  --log-file     日志文件路径
  --log-console  输出日志到控制台  [布尔值] [默认值: true]
  --log-format   应用日志格式  [默认值: "cli"]

选项:
  --version    显示版本号  [布尔值]
  --config     JSON配置文件路径
  --token, -t  GitHub个人访问令牌  [必需]
  --help, -h   显示帮助  [布尔值]

支持环境变量。前缀: GITHUB_EXPORTER，例如 --token 对应 GITHUB_EXPORTER_TOKEN

更多信息，请查看手册: https://github.com/jkroepke/github_exporter

.env文件配置

若不想在命令行中定义敏感选项（如令牌），可在.env文件中定义。

更多关于.env文件的信息:

• https://github.com/motdotla/dotenv#usage

启动导出器

Docker部署

bash
docker run --name github_exporter -d \
    --restart=always -p 9171:9171 \
    -e GITHUB_EXPORTER_TOKEN=<你的令牌> \
    -e GITHUB_EXPORTER_ORGANIZATION=组织1,组织2 \
    -e GITHUB_EXPORTER_USER=用户1,用户2 \
    -e GITHUB_EXPORTER_REPOSITORY=jkroepke/github_exporter,jkroepke/helm-secrets,jkroepke/2Moons \
    jkroepke/github-exporter

也可使用https://github.com/jkroepke/github_exporter/blob/master/docker-compose.yml%E9%83%A8%E7%BD%B2%E3%80%82

npm部署

bash
npm install -g github_exporter

github_exporter --token=<你的GH令牌> --repository=jkroepke/github_exporter

指标示例

# HELP github_repo_scraped 成功抓取仓库
# TYPE github_repo_scraped gauge
github_repo_scraped{owner="jkroepke",repository="jkroepke/github_exporter"} 1
# HELP github_repo_info 仓库基本信息
# TYPE github_repo_info gauge
github_repo_info{owner="jkroepke",repository="jkroepke/github_exporter",licence="MIT License",language="JavaScript"} 1
# HELP github_repo_is_disabled 仓库是否已禁用
# TYPE github_repo_is_disabled gauge
github_repo_is_disabled{owner="jkroepke",repository="jkroepke/github_exporter"} 0
# HELP github_repo_is_fork 仓库是否为分支
# TYPE github_repo_is_fork gauge
github_repo_is_fork{owner="jkroepke",repository="jkroepke/github_exporter"} 0
# HELP github_repo_is_archived 仓库是否已归档
# TYPE github_repo_is_archived gauge
github_repo_is_archived{owner="jkroepke",repository="jkroepke/github_exporter"} 0
# HELP github_repo_created_at 仓库创建时间
# TYPE github_repo_created_at gauge
github_repo_created_at{owner="jkroepke",repository="jkroepke/github_exporter"} 1580644595000
# HELP github_repo_updated_at 仓库最后更新时间
# TYPE github_repo_updated_at gauge
github_repo_updated_at{owner="jkroepke",repository="jkroepke/github_exporter"} 1582195922000
# HELP github_repo_pushed_at 仓库最后推送时间
# TYPE github_repo_pushed_at gauge
github_repo_pushed_at{owner="jkroepke",repository="jkroepke/github_exporter"} 1582244313000
# HELP github_repo_watchers_total 仓库关注者数量
# TYPE github_repo_watchers_total gauge
github_repo_watchers_total{owner="jkroepke",repository="jkroepke/github_exporter"} 1
# HELP github_repo_stars_total 仓库星标数量
# TYPE github_repo_stars_total gauge
github_repo_stars_total{owner="jkroepke",repository="jkroepke/github_exporter"} 2
# HELP github_repo_fork_total 仓库分支数量
# TYPE github_repo_fork_total gauge
github_repo_fork_total{owner="jkroepke",repository="jkroepke/github_exporter"} 1
# HELP github_rate_limit_limit GitHub API速率限制上限
# TYPE github_rate_limit_limit gauge
github_rate_limit_limit{api="core"} 5000
# HELP github_rate_limit_remaining GitHub API剩余速率限制
# TYPE github_rate_limit_remaining gauge
github_rate_limit_remaining{api="core"} 4796
# HELP github_repo_traffic_clones 仓库克隆总数
# TYPE github_repo_traffic_clones gauge
github_repo_traffic_clones{owner="jkroepke",repository="jkroepke/github_exporter",week="latest"} 16
# HELP github_repo_traffic_unique_clones 仓库独立克隆数
# TYPE github_repo_traffic_unique_clones gauge
github_repo_traffic_unique_clones{owner="jkroepke",repository="jkroepke/github_exporter",week="latest"} 8

许可证

https://github.com/jkroepke/github_exporter/blob/master/LICENSE