clusterhq/fio-genplots

FIO-Tools

!Alt text !Alt text

镜像概述和主要用途

FIO-Tools是一套用于存储性能测试的Docker工具集，集成了FIO测试执行、GNUPlot图表生成和Web服务展示功能。该工具集可帮助用户快速执行FIO性能测试，自动生成IOPS和带宽图表，并通过Web界面查看测试结果，适用于Docker和Kubernetes环境下的存储性能评估与基准测试。

核心功能和特性

• 执行FIO性能测试，支持本地和远程作业文件
• 生成IOPS（每秒输入/输出操作）和带宽（BW）可视化图表
• 通过Web服务（端口8000）展示测试日志和图表
• 提供"all in one"集成镜像，简化测试流程
• 支持Kubernetes部署，适用于容器化存储环境
• 兼容多种Docker环境（包括docker-machine、boot2docker等）

使用场景和适用范围

• 存储系统性能评估与验证
• 容器化环境（Docker/K8s）存储性能基准测试
• 生成可视化性能报告
• 多环境下存储性能对比分析
• 快速验证存储配置优化效果

详细使用方法和配置说明

基本使用步骤

1. 准备FIO作业文件

创建符合Fio Jobfile规范的测试作业文件，或使用远程作业文件。

2. 运行fio-tool执行测试

本地作业文件：

bash
docker run -v /tmp/fio-data:/tmp/fio-data \
-e JOBFILES=<你的FIO作业文件名> \
portworx/fio-tool

远程作业文件（通过REMOTEFILES指定）：

bash
docker run -v /tmp/fio-data:/tmp/fio-data \
-e REMOTEFILES="http://url.com/<你的作业文件>.fio" \
-e JOBFILES=<你的FIO作业文件名> \
wallnerryan/fio-tool

3. 生成图表

使用fio-genplots生成可视化图表：

bash
docker run -v /tmp/fio-data:/tmp/fio-data \
wallnerryan/fio-genplots <fio2gnuplot选项>

生成带宽图表：

bash
docker run -v /tmp/fio-data:/tmp/fio-data \
wallnerryan/fio-genplots -t My16kAWSRandomReadTest -b -g -p *_bw*

生成IOPS图表：

bash
docker run -v /tmp/fio-data:/tmp/fio-data \
wallnerryan/fio-genplots -t My16kAWSRandomReadTest -i -g -p *_iops*

4. 提供Web服务展示结果

bash
docker run -p 8000:8000 -d -v /tmp/fio-data:/tmp/fio-data \
wallnerryan/fio-plotserve

访问 http://localhost:8000 查看测试日志和图表。

5. 最简单方法：使用"all in one"镜像

自动执行测试、生成图表并提供Web服务：

bash
docker run -p 8000:8000 -v /tmp/fio-data \
-e REMOTEFILES="http://url.com/<你的作业文件>.fio" \
-e JOBFILES=<你的FIO作业文件名> \
-e PLOTNAME=MyTest \
-d --name MyFioTest wallnerryan/fiotools-aio

高级使用示例

Kubernetes环境使用

部署测试实例：

bash
# 部署读测试
kubectl apply -f kubernetes/fiotools-aio-portworx-read.yaml
# 部署写测试
kubectl apply -f kubernetes/fiotools-aio-portworx-write.yaml

查看服务：

bash
kubectl get svc fiotools-read
kubectl get svc fiotools-write

访问测试结果：

bash
# 端口转发访问读测试结果
kubectl port-forward service/fiotools-read 8001:8001
# 访问 http://localhost:8001

# 端口转发访问写测试结果
kubectl port-forward service/fiotools-write 8000:8000
# 访问 http://localhost:8000

配置环境变量：

yaml
env:
  - name: REMOTEFILES
    value: "https://gist.githubusercontent.com/wallnerryan/06cb07d3d8bee67af025a60a88da053f/raw/a46d97f30b79c2a2a6b42333e7114d85e84c450f/editablejob.fio"
  - name: JOBFILES
    value: editablejob.fio
  - name: PLOTNAME
    value: editablejob

Docker与Docker卷使用

bash
docker run \
-e REMOTEFILES="https://gist.githubusercontent.com/wallnerryan/fd0146ee3122278d7b5f/raw/cdd8de476abbecb5fb5c56239ab9b6eb3cec3ed5/job.fio" \
-v /tmp/fio-data:/tmp/fio-data \
--volume-driver flocker \
-v myvol1:/myvol \
-e JOBFILES=job.fio wallnerryan/fio-tool

"all in one"镜像配合Docker卷：

bash
docker run \
-p 8000:8000 \
-v /tmp/fio-data \
-e REMOTEFILES="https://gist.githubusercontent.com/wallnerryan/fd0146ee3122278d7b5f/raw/006ff707bc1a4aae570b33f4f4cd7729f7d88f43/job.fio" \
-e JOBFILES=job.fio \
-e PLOTNAME=MyTest \
--volume-driver flocker \
-v myvol1:/myvol \
-d \
--name MyTest wallnerryan/fiotools-aio

docker-machine/boot2docker环境使用

远程作业文件：

bash
docker run \
-e REMOTEFILES="https://gist.githubusercontent.com/wallnerryan/fd0146ee3122278d7b5f/raw/d089b6321746fe2928ce3f89fe64b437d1f669df/job.fio" \
-e JOBFILES=job.fio \
-v /Users/wallnerryan/Desktop/fio:/tmp/fio-data \
wallnerryan/fio-tool

本地作业文件：

bash
docker run -v /Users/wallnerryan/Desktop/fio:/tmp/fio-data \
-e JOBFILES=job.fio wallnerryan/fio-tool

非boot2docker/docker-machine的Docker环境使用

远程配置文件：

bash
docker run \
-e REMOTEFILES="https://gist.githubusercontent.com/wallnerryan/fd0146ee3122278d7b5f/raw/2eb7d0ae9b77fa5a93662fe8088df2d83fff9ab2/job.fio" \
-v /tmp/fio-data:/tmp/fio-data \
-e JOBFILES=job.fio wallnerryan/fio-tool

本地配置文件：

bash
mkdir /tmp/fio-data
cp <你的FIO作业文件> /tmp/fio-data/
docker run -v /tmp/fio-data:/tmp/fio-data \
-e JOBFILES=<你的FIO作业文件名> wallnerryan/fio-tool

注意事项

• 数据清理：fio-tools容器默认会清理/tmp/fio-data卷中的数据，如需保留测试结果，请提前备份文件。
• 作业文件路径：FIO作业文件中应指定directory=/my/mounted/volume以测试Docker卷。
• 多作业运行：如需运行多个"all in one"作业，使用-v /tmp/fio-data而非-v /tmp/fio-data:/tmp/fio-data（仅在单独运行工具镜像时需要后者）。
• Web服务访问：启动Web服务后，访问http://localhost:8000可查看所有日志和图表文件，点击`.png`文件查看图表。

!Alt text

环境变量说明

bw=和BW=说明

关于bw=和BW=参数的详细解释，请参考：[***]