clusterhq/fio-plotserve

FIO-Tools

!Alt text !Alt text

镜像概述和主要用途

FIO-Tools是一套基于FIO（Flexible I/O Tester）的Docker镜像工具集，用于存储性能测试。它提供了完整的测试流程：运行FIO测试任务、生成详细日志、绘制性能图表（如IOPS、带宽），并通过Web服务展示测试结果。适用于Docker和Kubernetes环境下的存储性能评估与可视化分析。

核心功能和特性

• 支持本地或远程FIO任务文件（.fio）执行测试
• 自动生成测试日志和性能数据
• 提供fio-genplots工具绘制IOPS、带宽等性能图表
• 通过fio-plotserve提供Web服务，便捷查看测试结果
• 提供"all-in-one"镜像，简化测试流程（自动执行测试、生成图表并启动服务）
• 支持Docker卷和Kubernetes部署，适应容器化环境

使用场景和适用范围

• Docker环境下的存储卷性能测试
• Kubernetes集群中持久化存储（PVC）性能评估
• 需要可视化展示存储IOPS、带宽等指标的场景
• 多环境（如boot2docker、docker-machine）下的存储性能对比测试

使用方法和配置说明

基本使用步骤

1. 准备环境

构建镜像或使用公共镜像（portworx/fio-tool、wallnerryan/fio-genplots、wallnerryan/fio-plotserve、wallnerryan/fiotools-aio）。

2. 创建FIO任务文件

参考https://media.readthedocs.org/pdf/fio/latest/fio.pdf%E5%88%9B%E5%BB%BA%E6%B5%8B%E8%AF%95%E4%BB%BB%E5%8A%A1%E6%96%87%E4%BB%B6%EF%BC%88.fio%EF%BC%89%E3%80%82

3. 运行fio-tool执行测试

本地任务文件：

bash
docker run -v /tmp/fio-data:/tmp/fio-data \
  -e JOBFILES=<你的FIO任务文件名> \
  docker.xuanyuan.run/portworx/fio-tool

远程任务文件（通过REMOTEFILES指定URL）：

bash
docker run -v /tmp/fio-data:/tmp/fio-data \
  -e REMOTEFILES="http://url.com/<你的任务文件>.fio" \
  -e JOBFILES=<你的FIO任务文件名> \
  docker.xuanyuan.run/wallnerryan/fio-tool

4. 运行fio-genplots生成图表

bash
docker run -v /tmp/fio-data:/tmp/fio-data \
  docker.xuanyuan.run/wallnerryan/fio-genplots <fio2gnuplot选项>

5. 运行fio-plotserve服务图表和日志

bash
docker run -p 8000:8000 -d -v /tmp/fio-data:/tmp/fio-data \
  docker.xuanyuan.run/wallnerryan/fio-plotserve

访问http://localhost:8000查看结果。

6. 便捷方式：使用"all-in-one"镜像

自动执行测试、生成图表并启动Web服务：

bash
docker run -p 8000:8000 -v /tmp/fio-data \
  -e REMOTEFILES="http://url.com/<你的任务文件>.fio" \
  -e JOBFILES=<你的FIO任务文件名> \
  -e PLOTNAME=MyTest \
  -d --name MyFioTest docker.xuanyuan.run/wallnerryan/fiotools-aio

其他使用示例

Kubernetes环境部署

创建Deployment：

bash
kubectl apply -f kubernetes/fiotools-aio-portworx-read.yaml
# 输出：
# storageclass.storage.k8s.io "fio-tester-class-read" created
# persistentvolumeclaim "fio-data-read" created
# deployment.extensions "fio-tester-read" created
# service "fiotools-read" created

kubectl apply -f kubernetes/fiotools-aio-portworx-write.yaml
# 输出类似上述

查看服务：

bash
kubectl get svc fiotools-read
kubectl get svc fiotools-write

访问测试结果：

• 通过端口转发：

  bash
  kubectl port-forward service/fiotools-read 8001:8001
  # 访问 http://localhost:8001
  

• 直接通过节点IP：http://<Node-IP>:[8000|8001]（需防火墙允许8000/8001端口）

自定义任务配置： 修改Deployment的环境变量以提交新任务：

yaml
env:
  - name: REMOTEFILES
    value: "https://gist.githubusercontent.com/wallnerryan/06cb07d3d8bee67af025a60a88da053f/raw/a46d97f30b79c2a2a6b42333e7114d85e84c450f/editablejob.fio"
  - name: JOBFILES
    value: editablejob.fio
  - name: PLOTNAME
    value: editablejob

Docker卷使用示例

bash
docker run \
  -e REMOTEFILES="https://gist.githubusercontent.com/wallnerryan/fd0146ee3122278d7b5f/raw/cdd8de476abbecb5fb5c56239ab9b6eb3cec3ed5/job.fio" \
  -v /tmp/fio-data:/tmp/fio-data \
  --volume-driver flocker \
  -v myvol1:/myvol \
  -e JOBFILES=job.fio docker.xuanyuan.run/wallnerryan/fio-tool

生成带宽图表：

bash
docker run -v /tmp/fio-data:/tmp/fio-data docker.xuanyuan.run/wallnerryan/fio-genplots \
  -t My16kAWSRandomReadTest -b -g -p *_bw*

生成IOPS图表：

bash
docker run -v /tmp/fio-data:/tmp/fio-data docker.xuanyuan.run/wallnerryan/fio-genplots \
  -t My16kAWSRandomReadTest -i -g -p *_iops*

启动Web服务：

bash
docker run -p 8000:8000 -d \
  -v /tmp/fio-data:/tmp/fio-data \
  docker.xuanyuan.run/wallnerryan/fio-plotserve

docker-machine/boot2docker环境使用

远程任务文件：

bash
docker run \
  -e REMOTEFILES="https://gist.githubusercontent.com/wallnerryan/fd0146ee3122278d7b5f/raw/d089b6321746fe2928ce3f89fe64b437d1f669df/job.fio" \
  -e JOBFILES=job.fio \
  -v /Users/wallnerryan/Desktop/fio:/tmp/fio-data \
  docker.xuanyuan.run/wallnerryan/fio-tool

本地任务文件：

bash
docker run -v /Users/wallnerryan/Desktop/fio:/tmp/fio-data \
  -e JOBFILES=job.fio docker.xuanyuan.run/wallnerryan/fio-tool

非boot2docker/docker-machine环境使用

远程任务文件：

bash
docker run \
  -e REMOTEFILES="https://gist.githubusercontent.com/wallnerryan/fd0146ee3122278d7b5f/raw/2eb7d0ae9b77fa5a93662fe8088df2d83fff9ab2/job.fio" \
  -v /tmp/fio-data:/tmp/fio-data \
  -e JOBFILES=job.fio docker.xuanyuan.run/wallnerryan/fio-tool

本地任务文件：

bash
mkdir /tmp/fio-data
cp <你的FIO任务文件> /tmp/fio-data/
docker run -v /tmp/fio-data:/tmp/fio-data \
  -e JOBFILES=<你的FIO任务文件名> docker.xuanyuan.run/wallnerryan/fio-tool

注意事项

• 数据清理：fio-tools容器默认会清理/tmp/fio-data卷，如需保留数据，请提前复制到本地。
• 任务文件路径：FIO任务文件（JOBFILES）需指定测试目录为directory=/my/mounted/volume，以测试Docker卷。
• 多任务运行：如需运行多个"all-in-one"任务，使用-v /tmp/fio-data而非-v /tmp/fio-data:/tmp/fio-data（仅单独运行工具镜像时需后者）。
• Web服务展示：启动Web服务后，可查看所有日志和图表文件，点击.png文件查看性能图表。

!Alt text

bw=和BW=说明

• 详见：[***]