镜像概述
本仓库包含50+ DockerHub仓库、340+标签,提供多种版本的标准开源软件Docker镜像,涵盖Hadoop生态、NoSQL数据存储、操作系统与开发环境、DevOps工具等。所有镜像均经过数百个工具测试,并用于多个GitHub仓库的功能测试套件,确保高质量和可靠性。镜像已预构建并发布于https://hub.docker.com/u/harisekhon/%E3%80%82
核心功能与特性
技术栈覆盖
Hadoop与大数据生态 :Spark、Kafka、Presto、Drill、NiFi、ZooKeeper等
NoSQL数据存储 :HBase、Cassandra、Riak、SolrCloud等
操作系统与开发镜像 :Alpine、CentOS、Debian、Fedora、Ubuntu等,预装Java、Perl、Python等开发环境
DevOps工具 :RabbitMQ集群、Mesos、Consul等
预构建GitHub仓库 :包含数百个相关工具,所有依赖已预编译
质量保障
完整测试套件验证镜像功能、版本一致性
多环境持续集成(CI):Ubuntu、CentOS、Alpine、Mac等
语法检查覆盖多种配置文件格式(Make/JSON/CSV/INI/XML/YAML)
技术特定API级测试确保镜像功能符合预期
其他特性
提供比官方仓库更多的软件版本,支持多版本开发测试
简化部署流程,每个目录包含docker-compose配置和make run快捷方式
基础镜像使用OpenJDK,避免Oracle Java许可问题
使用场景
开发与测试环境 :快速搭建Hadoop、NoSQL等技术栈的本地开发环境
技术验证 :测试不同版本软件的兼容性和功能
CI/CD集成 :作为持续集成流程中的依赖组件
学习与演示 :快速部署大数据、NoSQL等技术用于学习和演示
使用方法
搜索与拉取镜像
通过DockerHub搜索镜像:
bash
docker search harisekhon
拉取并运行示例镜像:
bash
docker run docker.xuanyuan.run/harisekhon/nagios-plugins
查看完整镜像列表
由于docker search仅显示前25个仓库,可使用dockerhub_search.py工具查看完整列表:
bash
docker run docker.xuanyuan.run/harisekhon/pytools dockerhub_search.py harisekhon
查看镜像标签
查看特定软件的所有标签(如CentOS):
bash
docker run docker.xuanyuan.run/harisekhon/pytools dockerhub_show_tags.py centos
运行服务
使用docker-compose
进入对应目录运行:
bash
cd zookeeper
docker-compose up
使用make run(交互式服务)
对于提供交互式shell的服务(如Spark、ZooKeeper、HBase):
bash
cd zookeeper
make run
构建源码
若需从源码构建:
bash
# 克隆仓库
git clone https://github.com/HariSekhon/Dockerfiles
cd Dockerfiles
# 构建所有镜像
make
# 构建特定镜像
cd nagios-plugins
make
# 构建特定版本
cd consul
git checkout consul-0.9
make
# 构建软件的所有版本
cd hadoop
make build-versions
完整清单
官方标准开源技术
Alluxio :分布式内存文件系统,https://github.com/HariSekhon/Dockerfiles/blob/master/alluxio/README-alluxio.md
Apache Drill :分布式SQL引擎,提供Drill SQL shell,https://github.com/HariSekhon/Dockerfiles/blob/master/apache-drill/README-apache-drill.md
Cassandra :分布式NoSQL数据存储,提供CQL shell,捆绑nagios-plugins
Consul :分布式服务发现工具
FakeS3 :Amazon S3 API模拟器,用于测试,https://github.com/HariSekhon/Dockerfiles/blob/master/fakes3/README-fakes3.md
H2O :分布式机器学习框架
Hadoop :分布式存储与计算集群(HDFS + Yarn),https://github.com/HariSekhon/Dockerfiles/blob/master/hadoop/README-hadoop.md
HBase :分布式NoSQL数据存储,提供HBase shell,https://github.com/HariSekhon/Dockerfiles/blob/master/hbase/README-hbase.md
Jython :Java JVM上的Python实现,适用于Hadoop Python工具
Kafka :发布-订阅消息 broker(已弃用,建议使用Confluent官方镜像)
Mesos :数据中心资源管理器
NiFi :IOT数据flow引擎
OpenTSDB TCollector : metrics收集器,https://github.com/HariSekhon/Dockerfiles/blob/master/tcollector/README-tcollector.md
Presto :分布式SQL引擎,提供Presto SQL shell,https://github.com/HariSekhon/Dockerfiles/blob/master/presto-dev/README-presto.md
RabbitMQ Cluster :消息队列broker集群,扩展官方镜像并添加插件
Riak KV :分布式NoSQL数据存储,部分版本捆绑nagios-plugins
Serf :分布式集群协调引擎
Solr/SolrCloud :基于Lucene的索引引擎及集群版本
Spark :快速分布式计算引擎,提供Spark shell
Superset :数据可视化工具
ZooKeeper :分布式协调与同步服务,提供ZK shell
注:后缀为-dev的仓库包含官方技术+开发调试工具+预构建的GitHub仓库
预构建GitHub仓库
Advanced Nagios Plugins Collection :450+ Nagios插件,支持Hadoop、NoSQL、基础设施等,提供多系统标签(alpine/centos/fedora/debian/ubuntu等)
DevOps Python Tools :75+ CLI工具,用于Hadoop、Spark、AWS、数据转换与验证等
DevOps Perl Tools :25+工具,用于Hadoop、Hive、Solr、Linux等
Spotify Tools :Spotify备份与播放自动化工具
基础镜像
开发镜像 :Alpine/CentOS/Debian/Fedora/Ubuntu,预装Java JDK、Perl、Python、Ruby、Scala、GCC、Maven等开发工具
Java/Scala基础镜像 :基于OpenJDK,提供jre/jdk标签,支持Java 7/8/9及Scala 2.10/2.11
支持与反馈
请通过https://github.com/harisekhon/dockerfiles/issues%E6%8F%90%E4%BA%A4%E9%97%AE%E9%A2%98%E5%92%8C%E6%94%B9%E8%BF%9B%E5%BB%BA%E8%AE%AE%E3%80%82