预构建的xformers镜像,集成Composable Kernel Flash Attention扩展,专为AMD MI Instinct GPU设计,包含2024年10月1日PyTorch nightly版本、ROCm 6.2.2和Python 3.11。
xformers with Composable Kernel Flash Attention 镜像文档
镜像概述
本镜像提供预构建的xformers环境,集成Composable Kernel Flash Attention扩展,专门针对AMD MI Instinct系列GPU优化,为深度学习任务提供高效的注意力机制计算支持。
核心功能与特性
- xformers集成:包含xformers库,支持Transformer模型的高效组件
- Composable Kernel Flash Attention扩展:优化注意力机制的计算性能
- 软件版本信息:
- PyTorch:2024年10月1日 nightly版本
- ROCm:6.2.2(AMD GPU计算平台)
- Python:3.11
- 硬件限制:仅适用于AMD MI Instinct系列GPU
使用场景
适用于在AMD MI Instinct GPU上运行基于Transformer架构的深度学习任务,如自然语言处理、计算机视觉等需要高效注意力机制计算的场景,尤其适合对性能有较高要求的研究和开发工作。
使用方法
基本运行命令
bashdocker run --gpus all -it [镜像名称]
注意:需确保主机已安装ROCm 6.2.2驱动和Docker GPU支持,且GPU为AMD MI Instinct系列。
高级配置示例
挂载本地工作目录并设置环境变量:
bashdocker run --gpus all -v /本地工作目录:/workspace -e PYTHONPATH=/workspace -it [镜像名称]
注意事项
- 本镜像仅兼容AMD MI Instinct系列GPU,不支持其他品牌或型号GPU
- 必须在安装有ROCm 6.2.2驱动的系统上使用,驱动版本不匹配可能导致运行异常
- PyTorch为nightly版本,可能包含实验性特性,生产环境使用前建议进行充分测试
rocm 命名空间的其他可用镜像:
rocm/vllm
vLLM 推理服务,ROCm GPU 优化版本
rocm/pytorch
PyTorch 机器学习框架,ROCm GPU 加速版本
rocm/vllm-dev
基于 ROCm 的 vLLM 开发与推理镜像,适合 AMD GPU 上的大模型服务
rocm/vllm-ci
ROCm 场景下的 vLLM CI/构建相关镜像,适合 AMD GPU 大模型流水线验证
rocm/sgl-dev
ROCm SGLang 开发镜像,适合 AMD GPU 大模型推理开发
rocm/k8s-device-plugin
ROCm Kubernetes Device Plugin,适合 AMD GPU 在 K8s 中调度
更多相关 Docker 镜像与资源
以下是 rocm/xformers 相关的常用 Docker 镜像,适用于 不同场景 等不同场景:
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。
DockerHub 原生拉取命令
docker pull rocm/xformers:<标签>
用户好评
来自真实用户的反馈,见证轩辕镜像的优质服务