coco/concept-rw-elasticsearch Docker Image Overview

coco/concept-rw-elasticsearch

自动构建

coco

用于批量将概念写入Amazon Elasticsearch集群并提供读取功能的工具，支持AWS签名访问，适用于概念数据的批量导入与管理。

1 次收藏下载次数: 0状态：自动构建维护者：coco仓库类型：镜像最近更新：6 天前

轩辕镜像，加速的不只是镜像。点击查看

中文简介版本下载

轩辕镜像，加速的不只是镜像。点击查看

Concept Read Writer for Elasticsearch

![Circle CI]([][Go Report Card]([] ![Coverage Status]([***]

概述和主要用途

该工具用于批量将概念写入Amazon Elasticsearch集群，并提供读取功能。

⚠️ Go的AWS SDK目前不支持Elasticsearch数据平面API，但自v1.2.0起已暴露签名器（Signer）。

访问AES（Amazon Elasticsearch Service）的方法：

基于[***]
通过上述创建的客户端，使用[***]

如果需要先设置Elasticsearch，请参见此处的说明。

核心功能和特性

批量写入：支持将概念数据批量写入Elasticsearch集群
AWS签名集成：通过v4签名器安全访问Amazon Elasticsearch Service
数据管理端点：提供PUT、批量PUT、GET、DELETE及指标更新等数据操作接口
健康检查：内置健康检查端点，监控服务及Elasticsearch集群状态
概念类型支持：处理多种概念类型（如组织、品牌、人物等），并特殊处理membership概念以更新关联人物信息

安装

下载源码、依赖并构建二进制文件：

go get github.com/Financial-Times/concept-rw-elasticsearch
cd $GOPATH/src/github.com/Financial-Times/concept-rw-elasticsearch
go build .

测试

单元测试

运行单元测试：

go test -race ./...

单元和集成测试

docker-compose -f docker-compose-tests.yml up -d --build && \
docker logs -f test-runner && \
docker-compose -f docker-compose-tests.yml down -v

本地运行Elasticsearch

使用Docker本地运行Elasticsearch：

docker run -p 9200:9200 -e "http.host=0.0.0.0" -e "transport.host=127.0.0.1" -e "xpack.security.enabled=false"  docker.elastic.co/elasticsearch/elasticsearch:5.3.3

向Elasticsearch实例写入数据会创建分片。若运行本地独立Elasticsearch实例，可能导致状态变为YELLOW。要将状态改为GREEN，向/_settings发送PUT请求，请求体如下：

json
{
    "index" : {
        "number_of_replicas" : 0
    }
}

Elasticsearch不会输出状态变为GREEN的日志，但应用健康检查在完成此更改后会返回健康状态。

运行方法

./concept-rw-elasticsearch --aws-access-key="{访问密钥}" --aws-secret-access-key="{密钥}"

还可指定Elasticsearch端点、区域及应用运行端口。其他参数：

参数	说明	默认值
elasticsearch-endpoint	Elasticsearch服务端点	-
elasticsearch-region	Elasticsearch区域（若为`local`，则创建简单客户端，不使用AWS签名机制）	-
port	应用运行端口	-
index-name	索引名称	concept
bulk-workers	批量工作线程数	-
bulk-requests	批量请求数	-
bulk-size	批量大小（字节）	-
flush-interval	刷新间隔	-
whitelisted-concepts	支持的概念类型（逗号分隔），避免自动定义索引映射类型	-
elasticsearch-trace	是否启用Elasticsearch跟踪	false

当前支持的概念类型："genres, topics, sections, subjects, locations, brands, organisations, people, alphaville-series, memberships"（体裁、主题、版块、主题词、地点、品牌、组织、人物、alphaville系列、成员资格）。

数据端点（DATA endpoints）

localhost:8080/{type}/{uuid}

支持的类型：organisations, brands, genres, locations, people, sections, subjects, topics, alphaville-series, memberships（组织、品牌、体裁、地点、人物、版块、主题词、主题、alphaville系列、成员资格）

成员资格（membership）概念是特殊情况，仅处理FT成员资格（organisationUUID为FT的7bcfe07b-0fb1-49ce-a5fa-e51d5c01c3e0，且membershipRoleUUID为专栏作家7ef75a6a-b6bf-4eb7-a1da-03e0acabef1b或记者33ee38a4-c677-4952-a141-2ae14da3aedd）。

成员资格不会作为独立实体写入Elasticsearch，而是修改关联的人物概念。若该人物UUID无记录，服务会在Elasticsearch中创建占位人物对象，仅设置id、lastModified和isFTAuthor字段。

-XPUT localhost:8080/{type}/{uuid}

成功PUT请求返回200；失败返回500服务器错误；JSON格式错误或路径与请求体中UUID不匹配返回400错误请求。

旧概念模型示例：

bash
curl -XPUT -H "Content-Type: application/json" -H "X-Request-Id: 123" localhost:8080/organisations/2384fa7a-d514-3d6a-a0ea-3a711f66d0d8 --data '{"uuid":"2384fa7a-d514-3d6a-a0ea-3a711f66d0d8","type":"PublicCompany","properName":"Apple, Inc.","prefLabel":"Apple, Inc.","legalName":"Apple Inc.","shortName":"Apple","hiddenLabel":"APPLE INC","formerNames":["Apple Computer, Inc."],"aliases":["Apple Inc","Apple Computers","Apple","Apple Canada","Apple Computer","Apple Computer, Inc.","APPLE INC","Apple Incorporated","Apple Computer Inc","Apple Inc.","Apple, Inc."],"industryClassification":"7a01c847-a9bd-33be-b991-c6fbd8871a46","alternativeIdentifiers":{"TME":["TnN0ZWluX09OX0ZvcnR1bmVDb21wYW55X0FBUEw=-T04="],"uuids":["2384fa7a-d514-3d6a-a0ea-3a711f66d0d8","2abff0bd-544d-31c3-899b-fba2f60d53dd"],"factsetIdentifier":"000C7F-E","leiCode":"HWUPKR0MPOU8FGXBT394"}}'

此时仅保存以下字段：uuid（转换为id）、prefLabel、aliases、type及types（由type生成），其他字段忽略。

新概念模型示例：

bash
curl -XPUT -H "Content-Type: application/json" -H "X-Request-Id: 123" localhost:8080/people/08147da5-8110-407c-a51c-a91855e6b071 --data '{
     "prefUUID": "08147da5-8110-407c-a51c-a91855e6b071",
     "prefLabel": "Anna Whitwham",
     "type": "Person",
     "aliases": [
         "Anna Whitwham"
     ],
     "isAuthor": true,
     "sourceRepresentations": [
      {
             "uuid": "08147da5-8110-407c-a51c-a91855e6b071",
             "prefLabel": "Anna Whitwham",
             "authority": "Smartlogic",
             "authorityValue": "9c2bbb54-6b1c-4b11-b005-a31ffe3b9ee7",
             "aliases": [
                 "Anna Whitwham"
             ],
             "descriptionXML": "This is replacement Anna",
             "type": "Person",
             "emailAddress": "***",
             "***Page": "[***]",
             "***Handle": "@JSmithFT",
             "_imageURL": "/Anna.jpg"
         },
         {
             "uuid": "a725fc67-db99-30c5-b37e-9ca0b47edf95",
             "prefLabel": "Anna Whitwham",
             "type": "Person",
             "authority": "TME",
             "authorityValue": "YmUwNTk1YWUtMzdhNy00NmQ4LTg4NzYtYzZmYzgzNTAzYmYy-UE4=",
             "lastModifiedEpoch": ***,
             "aliases": [
                 "Anna Whitwham"
             ]
         }
     ]
 }'

-XPUT localhost:8080/bulk/{type}/{uuid}

请求将按批量处理器配置批量执行。若应用成功接收请求，始终返回200；若写入Elasticsearch失败，请求会被记录（请查看应用日志）。

bash
curl -XPUT -H "Content-Type: application/json" -H "X-Request-Id: 123" localhost:8080/bulk/organisations/2384fa7a-d514-3d6a-a0ea-3a711f66d0d8 --data '{"uuid":"2384fa7a-d514-3d6a-a0ea-3a711f66d0d8","type":"PublicCompany","properName":"Apple, Inc.","prefLabel":"Apple, Inc.","legalName":"Apple Inc.","shortName":"Apple","hiddenLabel":"APPLE INC","formerNames":["Apple Computer, Inc."],"aliases":["Apple Inc","Apple Computers","Apple","Apple Canada","Apple Computer","Apple Computer, Inc.","APPLE INC","Apple Incorporated","Apple Computer Inc","Apple Inc.","Apple, Inc."],"industryClassification":"7a01c847-a9bd-33be-b991-c6fbd8871a46","alternativeIdentifiers":{"TME":["TnN0ZWluX09OX0ZvcnR1bmVDb21wYW55X0FBUEw=-T04="],"uuids":["2384fa7a-d514-3d6a-a0ea-3a711f66d0d8","2abff0bd-544d-31c3-899b-fba2f60d53dd"],"factsetIdentifier":"000C7F-E","leiCode":"HWUPKR0MPOU8FGXBT394"}}'

-XGET localhost:8080/{type}/{uuid}

读取已写入的数据。若未找到，返回404。

bash
curl -H "X-Request-Id: 123" localhost:8080/organisations/2384fa7a-d514-3d6a-a0ea-3a711f66d0d8

返回字段包括：Id、ApiUrl、PrefLabel、Types、DirectType、Aliases（若存在）。

-XDELETE localhost:8080/{type}/{uuid}

未向客户端开放，仅用于内部测试。成功删除返回204，未找到返回404。

bash
curl -XDELETE -H "X-Request-Id: 123" localhost:8080/organisations/2384fa7a-d514-3d6a-a0ea-3a711f66d0d8

-XPUT localhost:8080/{type}/{uuid}/metrics

请求体包含JSON格式的概念指标（如{"metrics":{"annotationsCount":1234, "prevWeekAnnotationsCount": 123}}），该端点会增量更新概念的指标数据，覆盖之前的指标，但不改变文档其他部分。

bash
curl -XPUT -H'X-Request-Id: tid_example' http://localhost:8080/organisations/2384fa7a-d514-3d6a-a0ea-3a711f66d0d8/metrics --data '{"metrics":{"annotationsCount":1234, "prevWeekAnnotationsCount": 123}}'

健康检查端点（HEALTH endpoints）

localhost:8080/__health

提供标准FT输出，指示连接状态和集群健康状况。

localhost:8080/__health-details

提供ES集群的详细健康状态，匹配elasticsearch-endpoint/_cluster/health的响应。若服务不可用或无法连接Elasticsearch，返回503。

localhost:8080/__gtg

应用健康时返回200，不健康时返回503 Service Unavailable。===SHORT_DESC=== 用于批量将概念写入Amazon Elasticsearch集群并提供读取功能的工具，支持AWS签名访问，适用于概念数据的批量导入与管理。 ===FULL_DESC===# Concept Read Writer for Elasticsearch

概述和主要用途

该工具用于批量将概念写入Amazon Elasticsearch集群，并提供读取功能。由于AWS SDK for Go目前不支持Elasticsearch数据平面API，但自v1.2.0起暴露签名器（Signer），因此采用以下方式访问Amazon Elasticsearch服务（AES）：基于smartystreets/go-aws-auth创建传输层（使用v4签名器），并通过olivere/elastic库执行ES请求。如需设置Elasticsearch，可参考映射说明。

核心功能和特性

批量操作：支持批量写入概念数据到Elasticsearch集群
AWS集成：通过v4签名器安全访问Amazon Elasticsearch服务
多端点支持：提供数据操作端点（PUT、批量PUT、GET、DELETE、指标更新）和健康检查端点
概念类型处理：支持多种概念类型（组织、品牌、人物等），特殊处理membership概念以更新关联人物信息
健康监控：内置健康检查接口，实时监控服务及Elasticsearch集群状态

安装

下载源码、依赖并构建二进制文件：

bash
go get github.com/Financial-Times/concept-rw-elasticsearch
cd $GOPATH/src/github.com/Financial-Times/concept-rw-elasticsearch
go build .

测试

单元测试

bash
go test -race ./...

单元和集成测试

bash
docker-compose -f docker-compose-tests.yml up -d --build && \
docker logs -f test-runner && \
docker-compose -f docker-compose-tests.yml down -v

本地运行Elasticsearch

使用Docker启动本地Elasticsearch：

bash
docker run -p 9200:9200 -e "http.host=0.0.0.0" -e "transport.host=127.0.0.1" -e "xpack.security.enabled=false" docker.elastic.co/elasticsearch/elasticsearch:5.3.3

写入数据会创建分片，独立实例可能导致状态变为YELLOW。如需改为GREEN，向/_settings发送PUT请求：
json
{"index":{"number_of_replicas":0}}

运行方法

基础运行命令：

bash
./concept-rw-elasticsearch --aws-access-key="{访问密钥}" --aws-secret-access-key="{密钥}"

主要参数

| 参数 | 说明 | 默认值 | |----------------------|----------------------------------------------------------------

查看更多 concept-rw-elasticsearch 相关镜像 →

elasticsearch

Docker 官方镜像

Elasticsearch是一款功能强大的开源搜索与分析引擎，它基于Lucene构建，具备分布式、高扩展、实时处理的特性，能够高效存储、检索和分析各类结构化与非结构化数据，广泛应用于日志分析、全文搜索、业务智能等场景，通过简化数据探索流程，帮助用户快速从海量数据中获取有价值的洞察，让复杂数据的分析与利用变得简单高效。

6.6千次收藏5亿+ 次下载

18 天前更新

bitnami/elasticsearch

bitnami

Bitnami为Elasticsearch提供的安全镜像，是预先配置且经过安全加固的解决方案，集成开源搜索引擎Elasticsearch的核心功能，可支持日志分析、全文搜索、实时数据处理等多种应用场景，通过优化性能、简化部署流程并遵循安全最佳实践，助力用户快速构建安全可靠的Elasticsearch运行环境，适用于开发、测试及生产环境，有效降低配置复杂度与潜在安全风险。

84 次收藏1亿+ 次下载

5 个月前更新

bitnamicharts/elasticsearch

bitnamicharts

Bitnami提供的Elasticsearch Helm chart，用于在Kubernetes环境中便捷部署和管理分布式搜索引擎Elasticsearch。

1 次收藏500万+ 次下载

7 个月前更新

bitnami/elasticsearch-exporter

bitnami

Bitnami安全镜像，用于运行elasticsearch-exporter，实现Elasticsearch集群指标的收集与导出，适用于监控系统集成。

7 次收藏1000万+ 次下载

7 个月前更新

demisto/elasticsearch

rancher/elasticsearch-conf

轩辕镜像配置手册

探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式

Docker 配置

登录仓库拉取

通过 Docker 登录认证访问私有仓库

专属域名拉取

无需登录使用专属域名

K8s Containerd

Kubernetes 集群配置 Containerd

K3s

K3s 轻量级 Kubernetes 镜像加速

Dev Containers

VS Code Dev Containers 配置

Podman

Podman 容器引擎配置

Singularity/Apptainer

HPC 科学计算容器配置

其他仓库配置

ghcr、Quay、nvcr 等镜像仓库

系统配置

Linux

在 Linux 系统配置镜像服务

Windows/Mac

在 Docker Desktop 配置镜像

MacOS OrbStack

MacOS OrbStack 容器配置

Docker Compose

Docker Compose 项目配置

NAS 设备

群晖

Synology 群晖 NAS 配置

飞牛

飞牛 fnOS 系统配置镜像

绿联

绿联 NAS 系统配置镜像

威联通

QNAP 威联通 NAS 配置

极空间

极空间 NAS 系统配置服务

网络设备

爱快路由

爱快 iKuai 路由系统配置

宝塔面板

在宝塔面板一键配置镜像

需要其他帮助？请查看我们的常见问题Docker 镜像访问常见问题解答或提交工单

镜像拉取常见问题

使用与功能问题

docker search 报错：专属域名下仅支持 Docker Hub 查询

docker search 报错问题

网页搜不到镜像：Docker Hub 有但轩辕镜像搜索无结果

镜像搜索不到

离线传输镜像：无法直连时用 docker save/load 迁移

离线传输镜像

Docker 插件安装错误：application/vnd.docker.plugin.v1+json

Docker 插件安装错误

WSL 下 Docker 拉取慢：网络与挂载目录影响及优化

WSL 拉取镜像慢

轩辕镜像是否安全？镜像完整性校验（digest）说明

镜像安全性

如何用轩辕镜像拉取镜像？登录方式与专属域名配置

如何拉取镜像

错误码与失败问题

manifest unknown 错误：镜像不存在或标签错误

manifest unknown 错误

TLS/SSL 证书验证失败：Docker pull 时 HTTPS 证书错误

TLS 证书验证失败

DNS 解析超时：无法解析镜像仓库地址或连接超时

DNS 解析超时

410 Gone 错误：Docker 版本过低导致协议不兼容

410 错误：版本过低

402 Payment Required 错误：流量耗尽错误提示

402 错误：流量耗尽

401 UNAUTHORIZED 错误：身份认证失败或登录信息错误

身份认证失败错误

429 Too Many Requests 错误：请求频率超出专业版限制

429 限流错误

Docker login 凭证保存错误：Cannot autolaunch D-Bus（不影响登录）

凭证保存错误

账号 / 计费 / 权限

免费版与专业版区别：功能、限额与使用场景对比

免费版与专业版区别

支持的镜像仓库：Docker Hub、GCR、GHCR、K8s 等列表

轩辕镜像支持的镜像仓库

拉取失败是否扣流量？计费规则说明

拉取失败流量计费

KYSEC 权限不够：麒麟 V10/统信 UOS 下脚本执行被拦截

KYSEC 权限错误

如何申请开具发票？（增值税普票/专票）

开具发票

如何修改网站与仓库登录密码？

修改网站和仓库密码

配置与原理类

registry-mirrors 未生效：仍访问官方仓库或报错的原因

registry-mirrors 未生效

如何去掉镜像名称中的轩辕域名前缀？（docker tag）

去掉域名前缀

如何拉取指定架构镜像？（ARM64/AMD64 等多架构）

拉取指定架构镜像

查看全部问题→

用户好评

来自真实用户的反馈，见证轩辕镜像的优质服务

oldzhang

运维工程师

Linux服务器

"Docker访问体验非常流畅，大镜像也能快速完成下载。"

coco/concept-rw-elasticsearch Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

Concept Read Writer for Elasticsearch

概述和主要用途

核心功能和特性

安装

测试

单元测试

单元和集成测试

本地运行Elasticsearch

运行方法

数据端点（DATA endpoints）

-XPUT localhost:8080/{type}/{uuid}

-XPUT localhost:8080/bulk/{type}/{uuid}

-XGET localhost:8080/{type}/{uuid}

-XDELETE localhost:8080/{type}/{uuid}

-XPUT localhost:8080/{type}/{uuid}/metrics

健康检查端点（HEALTH endpoints）

localhost:8080/__health

localhost:8080/__health-details

localhost:8080/__gtg

概述和主要用途

核心功能和特性

安装

测试

单元测试

单元和集成测试

本地运行Elasticsearch

运行方法

主要参数

轩辕镜像配置手册

Docker 配置

登录仓库拉取

专属域名拉取

K8s Containerd

K3s

Dev Containers

Podman

Singularity/Apptainer

其他仓库配置

系统配置

Linux

Windows/Mac

MacOS OrbStack

Docker Compose

NAS 设备

群晖

飞牛

绿联

威联通

极空间

网络设备

爱快路由

宝塔面板

镜像拉取常见问题

使用与功能问题

docker search 报错：专属域名下仅支持 Docker Hub 查询

网页搜不到镜像：Docker Hub 有但轩辕镜像搜索无结果

离线传输镜像：无法直连时用 docker save/load 迁移

Docker 插件安装错误：application/vnd.docker.plugin.v1+json

WSL 下 Docker 拉取慢：网络与挂载目录影响及优化

轩辕镜像是否安全？镜像完整性校验（digest）说明

如何用轩辕镜像拉取镜像？登录方式与专属域名配置

错误码与失败问题

manifest unknown 错误：镜像不存在或标签错误

TLS/SSL 证书验证失败：Docker pull 时 HTTPS 证书错误

DNS 解析超时：无法解析镜像仓库地址或连接超时

410 Gone 错误：Docker 版本过低导致协议不兼容

402 Payment Required 错误：流量耗尽错误提示

401 UNAUTHORIZED 错误：身份认证失败或登录信息错误

429 Too Many Requests 错误：请求频率超出专业版限制

Docker login 凭证保存错误：Cannot autolaunch D-Bus（不影响登录）

账号 / 计费 / 权限

免费版与专业版区别：功能、限额与使用场景对比

支持的镜像仓库：Docker Hub、GCR、GHCR、K8s 等列表

拉取失败是否扣流量？计费规则说明

KYSEC 权限不够：麒麟 V10/统信 UOS 下脚本执行被拦截

如何申请开具发票？（增值税普票/专票）

如何修改网站与仓库登录密码？

配置与原理类

registry-mirrors 未生效：仍访问官方仓库或报错的原因