vuls/go-cve-dictionary

go-cve-dictionary 镜像文档

镜像概述和主要用途

go-cve-dictionary 是一款用于构建 NVD（美国国家漏洞数据库）和 JVN（日本漏洞数据库）本地副本的工具。它能够获取包含 CVE 标识符的安全漏洞信息（包括详细描述、风险评分等），并以 SQLite、MySQL、PostgreSQL 或 Redis 格式存储本地数据库。工具提供 HTTP 服务器模式，支持通过 RESTful API 接口轻松查询漏洞数据，适用于本地漏洞数据管理与查询场景。

核心功能和特性

• 多数据源支持：同步 NVD（英文）和 JVN（日文）漏洞数据，覆盖全球主要漏洞信息
• 多数据库后端：支持 SQLite3（默认）、MySQL、PostgreSQL、Redis 存储数据
• 灵活数据更新：支持按年份、最近 2 年、最近 8 天等多种维度更新数据
• HTTP 服务器模式：提供 RESTful API 接口，支持 CVE ID 和 CPE 条目查询
• 代理支持：支持通过 HTTP 代理获取数据，适应受限网络环境
• 日志与调试：提供详细日志输出、JSON 日志格式及调试模式，便于问题排查
• 跨平台兼容：通过 Docker 容器化部署，简化环境依赖管理

使用场景和适用范围

• 本地漏洞数据库搭建：安全团队部署本地 CVE 数据库，避免依赖外部网络查询
• 漏洞管理系统集成：作为漏洞扫描、风险评估系统的数据源，提供高效本地查询
• 开发与运维审计：开发/运维人员查询软件组件的 CVE 漏洞信息，评估安全风险
• 离线环境使用：在无互联网访问的环境中，通过预先同步的数据进行漏洞查询

部署与使用

Docker 镜像获取

bash
docker pull kotakanbe/go-cve-dictionary

基本部署示例

Docker Run 快速启动

1. 初始化数据库（首次使用）

获取 2002 年至今的 NVD 完整数据（约 10 分钟，视网络情况）：

bash
# 创建本地数据目录
mkdir -p ./data

# 拉取历史数据（2002年至当前年份）
docker run --rm -v $(pwd)/data:/app/data \
  kotakanbe/go-cve-dictionary \
  fetchnvd -years $(seq 2002 $(date +"%Y")) -dbpath /app/data/cve.sqlite3

2. 启动 HTTP 服务器

bash
docker run -d -p 1323:1323 -v $(pwd)/data:/app/data \
  --name go-cve-dictionary \
  kotakanbe/go-cve-dictionary \
  server -bind 0.0.0.0 -dbpath /app/data/cve.sqlite3

Docker Compose 配置

创建 docker-compose.yml：

yaml
version: '3'
services:
  go-cve-dictionary:
    image: kotakanbe/go-cve-dictionary
    container_name: go-cve-dictionary
    ports:
      - "1323:1323"
    volumes:
      - ./data:/app/data  # 数据库文件存储
      - ./logs:/var/log/vuls  # 日志存储
    command: server -bind 0.0.0.0 -dbpath /app/data/cve.sqlite3 -log-dir /var/log/vuls
    restart: unless-stopped

启动服务：

bash
docker-compose up -d

详细使用方法

核心子命令说明

fetchnvd：获取 NVD 数据

基本语法：

bash
docker run --rm -v $(pwd)/data:/app/data \
  kotakanbe/go-cve-dictionary \
  fetchnvd [选项] -dbpath /app/data/cve.sqlite3

主要选项：

示例：

• 获取最近 2 年 NVD 数据：

bash
docker run --rm -v $(pwd)/data:/app/data \
  kotakanbe/go-cve-dictionary \
  fetchnvd -last2y -dbpath /app/data/cve.sqlite3

• 通过代理获取 2023 年数据：

bash
docker run --rm -v $(pwd)/data:/app/data \
  kotakanbe/go-cve-dictionary \
  fetchnvd -years 2023 -http-proxy http://proxy:8080 -dbpath /app/data/cve.sqlite3

fetchjvn：获取 JVN 数据

从日本 JVN 数据库获取漏洞数据，用法与 fetchnvd 类似。

主要选项：与 fetchnvd 相同，支持 -years、-latest、-last2y 等参数。

示例：

bash
docker run --rm -v $(pwd)/data:/app/data \
  kotakanbe/go-cve-dictionary \
  fetchjvn -last2y -dbpath /app/data/cve.sqlite3

server：启动 HTTP 服务器

基本语法：

bash
docker run -d -p 1323:1323 -v $(pwd)/data:/app/data \
  --name go-cve-dictionary \
  kotakanbe/go-cve-dictionary \
  server [选项] -dbpath /app/data/cve.sqlite3

主要选项：

示例：

• 绑定所有接口并使用自定义端口：

bash
docker run -d -p 8080:8080 -v $(pwd)/data:/app/data \
  --name go-cve-dictionary \
  kotakanbe/go-cve-dictionary \
  server -bind 0.0.0.0 -port 8080 -dbpath /app/data/cve.sqlite3

数据查询示例

查询特定 CVE（如 HeartBleed）

bash
curl http://localhost:1323/cves/CVE-2014-0160 | jq .

返回结果示例（部分）：

json
{
  "CveID": "CVE-2014-0160",
  "Nvd": {
    "Summary": "The (1) TLS and (2) DTLS implementations in OpenSSL 1.0.1 before 1.0.1g do not properly handle Heartbeat Extension packets...",
    "Score": 5,
    "AccessVector": "NETWORK",
    "AccessComplexity": "LOW",
    "Authentication": "NONE",
    "ConfidentialityImpact": "PARTIAL",
    "IntegrityImpact": "NONE",
    "AvailabilityImpact": "NONE"
  },
  "Jvn": {
    "Title": "OpenSSL の heartbeat 拡張に情報漏えいの脆弱性",
    "Summary": "OpenSSL の heartbeat 拡張の実装には、情報漏えいの脆弱性が存在します...",
    "JvnID": "JVNDB-2014-001920",
    "Score": 5
  }
}

查询特定 CPE 对应的 CVE（如 Ruby on Rails 4.0.2）

bash
curl -H "Content-Type: application/json" \
  -X POST -d '{"name": "cpe:/a:rubyonrails:ruby_on_rails:4.0.2:-"}' \
  http://localhost:1323/cpes | jq .

返回结果包含该 CPE 条目相关的所有 CVE 漏洞列表。

数据更新与维护

定期更新数据

建议通过 cron 设置定时任务定期更新数据：

bash
# 每周日 3 点更新最近 2 年 NVD 数据
echo "0 3 * * 0 docker run --rm -v /path/to/data:/app/data kotakanbe/go-cve-dictionary fetchnvd -last2y -dbpath /app/data/cve.sqlite3" | crontab -

日志管理

默认日志存储在 /var/log/vuls，建议挂载本地目录以便持久化：

bash
docker run --rm -v $(pwd)/logs:/var/log/vuls -v $(pwd)/data:/app/data \
  kotakanbe/go-cve-dictionary \
  fetchnvd -latest -dbpath /app/data/cve.sqlite3 -log-dir /var/log/vuls

数据库后端配置

MySQL

连接字符串格式：user:password@tcp(host:port)/dbname?parseTime=true

示例：

bash
# 获取数据
docker run --rm \
  kotakanbe/go-cve-dictionary \
  fetchnvd -last2y \
  -dbtype mysql \
  -dbpath "cveuser:password@tcp(mysql-host:3306)/cvedb?parseTime=true"

# 启动服务器
docker run -d -p 1323:1323 \
  kotakanbe/go-cve-dictionary \
  server -bind 0.0.0.0 \
  -dbtype mysql \
  -dbpath "cveuser:password@tcp(mysql-host:3306)/cvedb?parseTime=true"

PostgreSQL

连接字符串格式：host=host user=user dbname=dbname password=pass sslmode=disable

示例：

bash
docker run --rm \
  kotakanbe/go-cve-dictionary \
  fetchjvn -latest \
  -dbtype postgres \
  -dbpath "host=pg-host user=cveuser dbname=cvedb password=pass sslmode=disable"

Redis

连接字符串格式：redis://host:port/db

示例：

bash
docker run --rm \
  kotakanbe/go-cve-dictionary \
  fetchnvd -latest \
  -dbtype redis \
  -dbpath "redis://redis-host:6379/0"

常见问题

数据库 Schema 变更

工具版本更新可能导致数据库 schema 变更，此时需指定新的数据库文件/连接串，避免数据冲突。

代理设置

通过 -http-proxy 选项指定代理：

bash
docker run --rm -v $(pwd)/data:/app/data \
  kotakanbe/go-cve-dictionary \
  fetchnvd -latest -http-proxy http://proxy:8080 -dbpath /app/data/cve.sqlite3

调试模式

启用调试模式查看详细过程：

bash
docker run --rm -v $(pwd)/data:/app/data \
  kotakanbe/go-cve-dictionary \
  fetchnvd -latest -dbpath /app/data/cve.sqlite3 -debug

数据来源

• NVD（美国国家漏洞数据库）
• JVN（日本漏洞数据库）

许可证

NVD 数据属于公共领域，JVN 数据使用遵循 JVN 条款。工具本身许可证详见 https://github.com/kotakanbe/go-cve-dictionary/blob/master/LICENSE%E3%80%82