decodeinvesting/decode-investing.rb Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

Decode Investing Server 镜像文档

1. 镜像概述与主要用途

Decode Investing Server 是一款用于索引 EDGAR SEC（美国证券交易委员会）公司数据的服务器镜像。其核心功能是通过自动化任务处理 SEC 公开 filings 数据，包括公司基本信息、财务文件（如XBRL文档）、财务事实（Facts）的提取与存储，支持数据分析与研究场景下的结构化数据获取需求。

2. 核心功能与特性

2.1 数据索引与处理

• SEC上市公司全量索引：批量索引所有SEC上市企业的基础信息（CIK、***代码、公司名称等）。
• 公司数据精细化索引：针对单家公司，索引其 filings 数据、关联文档及表单类型。
• XBRL文档处理：支持下载SEC filings中的XBRL财务文档，通过Arelle工具提取财务事实（Facts）和概念（Concepts）并生成CSV文件。
• 数据导入与回填：将提取的财务事实导入数据库，回填 filings 的表单类型。

2.2 任务调度与自动化

• 基于Ruby on Rails的Job队列机制（如Edgar::CompanyIndexerJob），支持异步执行数据索引、文档下载等耗时任务。
• 支持批量任务调度（如enqueue_all、enqueue_set），可同时处理多家公司数据。

2.3 扩展性与集成

• 支持AWS S3存储挂载，用于存放XBRL文档等大容量数据。
• 兼容Kubernetes集群部署，提供完整的容器化部署流程，支持大规模数据处理。

3. 使用场景与适用范围

• 数据分析平台：为研究、量化分析提供标准化的SEC filings数据接口。
• ***决策支持系统：结构化处理财务报表数据，辅助基本面分析。
• 学术研究：用于***市场监管、公司财务行为等领域的数据分析。
• 开发者测试与二次开发：提供本地开发环境，支持自定义数据处理逻辑。

4. 使用方法与配置说明

4.1 基础数据操作

4.1.1 索引SEC所有上市公司

ruby
# 触发全量索引任务（异步执行）
Edgar::CompanyIndexerJob.perform_later

4.1.2 拉取公司信息

ruby
# 通过***代码（如AAPL）获取公司记录
company = Edgar::Company.find_by_ticker('AAPL')

4.1.3 索引公司 filings 数据

ruby
# 索引单家公司的 filings 数据、文档及表单类型
Edgar::CompanyDataIndexEnqueuerJob.perform_later(company)

# 批量索引所有公司的 filings 数据
Edgar::CompanyDataIndexEnqueuerJob.enqueue_all

# 单独索引公司的 filings 列表
Edgar::FilingIndexerJob.perform_later(company)

# 回填公司所有 filings 的表单类型
Edgar::FilingsFormTypeBackfillJob.perform_later(company)

4.2 XBRL文档处理

4.2.1 使用Arelle提取财务事实与概念

通过Docker Compose调用Arelle工具（需提前部署Arelle服务）：

bash
# 提取财务事实（Facts）到CSV
docker-compose run arelle \
  python3 /opt/arelle/arelleCmdLine.py -f /index/data/<CIK>/<accession-number>/<xbrl-file> \
  --facts /index/data/<CIK>/<accession-number>/facts.csv \
  --factListCols "Label Name contextRef unitRef Dec Prec Lang Value EntityScheme EntityIdentifier Period Dimensions"

# 提取概念（Concepts）到CSV
docker-compose run arelle \
  python3 /opt/arelle/arelleCmdLine.py -f /index/data/<CIK>/<accession-number>/<xbrl-file> \
  --concepts /index/data/<CIK>/<accession-number>/concepts.csv

说明：<CIK>为公司SEC唯一标识（如可口可乐公司为21344），<accession-number>为 filings 编号（如000002134420000006），<xbrl-file>为XBRL文档路径。

4.2.2 下载XBRL文档并触发提取

ruby
# 下载指定filing的XBRL文档至S3，标记为待提取状态
Edgar::XbrlDocumentDownloadJob.perform_later(filing)

4.2.3 导入财务事实至数据库

ruby
# 将提取的财务事实（facts.csv）导入数据库
Sec::FactsImporterJob.enqueue(company)

5. Kubernetes集群部署指南

5.1 前置准备

5.1.1 创建S3存储桶（用于K8s集群状态）

bash
# 创建S3桶
aws s3api create-bucket \
  --bucket decode-investing-com-state-store \
  --region us-east-1

# 启用版本控制
aws s3api put-bucket-versioning \
  --bucket decode-investing-com-state-store \
  --versioning-configuration Status=Enabled

5.1.2 配置本地环境变量

bash
export NAME=decodeinvestingcluster.k8s.local          # 集群名称
export KOPS_STATE_STORE=s3://decode-investing-com-state-store  # 状态存储路径
export VPC_ID=vpc-***                            # 替换为实际VPC ID
export NETWORK_CIDR=10.100.0.0/16                     # 替换为VPC的CIDR网段

5.2 集群配置与创建

5.2.1 创建集群配置

bash
# 查看可用区（以us-west-2为例）
aws ec2 describe-availability-zones --region us-west-2

# 初始化集群配置（指定可用区和VPC）
kops create cluster \
  --zones=us-west-2a \
  decodeinvestingcluster.k8s.local --vpc=${VPC_ID}

# 编辑集群配置（需按现有VPC子网调整CIDR，避免冲突）
kops edit cluster decodeinvestingcluster.k8s.local

参考文档：Kops在现有VPC中部署、子网规划工具

5.2.2 部署集群

bash
# 应用集群配置
kops update cluster decodeinvestingcluster.k8s.local --yes

# 验证集群状态
kops validate cluster

# 配置kubectl访问
kops export kubecfg decodeinvestingcluster.k8s.local

5.3 部署应用资源

5.3.1 创建命名空间

bash
kubectl apply -f kubernetes-manifests/decodeinvesting-namespace.yaml

5.3.2 创建密钥与配置

bash
# 数据库密钥（替换占位符）
kubectl create secret generic database-secret \
  --from-literal=db-username='<数据库用户名>' \
  --from-literal=db-password='<数据库密码>' \
  --from-literal=db-endpoint='<数据库地址>' \
  --from-literal=db-name='<数据库名称>' \
  --namespace='decodeinvesting'

# AWS访问密钥
kubectl create secret generic aws-access-secret \
  --from-literal=aws-access-key='<AWS访问密钥>' \
  --from-literal=aws-secret-access_key='<AWS密钥>' \
  --namespace='decodeinvesting'

# Rails应用密钥
kubectl create secret generic rails-secret \
  --from-literal=secret-key-base='<Rails密钥>' \
  --namespace='decodeinvesting'

# 应用配置（替换占位符）
kubectl create configmap app-config \
  --from-literal=host-path='<主机路径>' \
  --from-literal=s3fs-bucket='<S3存储桶名称>' \
  --namespace='decodeinvesting'

# IEX Cloud API配置（***数据接口）
kubectl create configmap iex-config \
  --from-literal=iex_api_publishable_token='<IEX公开令牌>' \
  --from-literal=iex_api_secret_token='<IEX密钥令牌>' \
  --from-literal=iex_api_endpoint='[***] \
  --namespace='decodeinvesting'

5.3.3 部署应用服务

bash
# 应用所有manifest文件
kubectl apply -f kubernetes-manifests/

# 部署Rails API服务
kubectl apply -f ./kubernetes-manifests/rails-server-service.yaml
kubectl apply -f ./kubernetes-manifests/rails-server-deployment.yaml

# 查看服务外部IP
kubectl get svc -n decodeinvesting
# 示例输出：
# NAME           TYPE           CLUSTER-IP      EXTERNAL-IP                                                              PORT(S)        AGE
# rails-server   Load***   100.67.111.51   <ELB标签>.us-west-2.elb.amazonaws.com   80:30520/TCP   11m

5.4 集群管理

5.4.1 查看资源状态

bash
# 查看节点
kubectl get nodes

# 查看命名空间内Pod
kubectl get pods -n decodeinvesting

5.4.2 删除集群（清理资源）

bash
# 预览删除
kops delete cluster --name decodeinvestingcluster.k8s.local

# 执行删除
kops delete cluster --name decodeinvestingcluster.k8s.local --yes

6. 开发者环境设置

6.1 Ubuntu环境

6.1.1 安装依赖工具

bash
# 安装VSCode
sudo snap install --classic code

# 安装Docker（参考官方文档）
# [***]

6.1.2 部署应用

bash
# 克隆代码仓库
git clone [***]
cd decode-investing.rb

# 创建.env文件（配置数据存储路径）
echo "HOST_PATH=~/bin/edgar-data" > .env

# 构建Docker镜像
docker-compose build clientapp-dev

# 进入容器环境
docker-compose run clientapp-dev bash

# 安装依赖
yarn install

# 启动本地服务
docker-compose up clientapp-dev

6.2 Windows环境

6.2.1 安装依赖工具

• Git Bash：下载地址
• Docker Desktop：下载地址（需启用系统虚拟化技术，进入BIOS设置开启）
• VSCode：下载地址

6.2.2 部署应用

bash
# 克隆代码仓库（通过Git Bash执行）
cd Desktop
git clone [***]
cd decode-investing.rb

# 用VSCode打开项目
code .

# 构建Docker镜像
docker compose build clientapp-dev

# 进入容器环境
docker compose run clientapp-dev bash

# 安装依赖
yarn install

# 启动本地服务
docker compose up clientapp-dev

7. 附录：常用操作示例

7.1 批量索引指定公司

ruby
# 获取前10家公司ID并批量索引
ids = Edgar::Company.first(10).pluck(:id)
Edgar::CompanyDataIndexEnqueuerJob.enqueue_set(ids)

7.2 创建测试公司（用于AI对话功能）

ruby
# 创建用于测试的虚拟公司
Edgar::Company.create(
  cik: '0000000000',
  ticker: "FAKE_DECODEINVESTING_TICKER",
  name: "FAKE_DECODEINVESTING_NAME"
)

7.3 生成公司资料

ruby
# 指定***代码（如AAPL）
ticker = "AAPL"
company = Edgar::Company.ticker(ticker)

# 生成公司资料
DecodeInvesting::CompanyProfileManager.call(company)

# 查看生成的资料
pp company.profile