pascal-pkgs-ci

构建 Pascal 兼容版本的机器学习应用和库的主仓库。

• 本仓库提供以下 vLLM 版本：0.5.5、0.6.0、0.6.1、0.6.1.post1、0.6.1.post、0.6.2、0.6.3、0.6.3.post1、0.6.4、0.6.4.post1、0.6.5、0.6.6、0.6.6.post1、0.7.0、0.7.1、0.7.2、0.7.3、0.8.0、0.8.1、0.8.2、0.8.3、0.8.4、0.8.5、0.9.0、0.9.1、0.9.2、0.10.0 以及 main（每日更新的夜间版本）。 0.5.5``0.6.0``0.6.1``0.6.1.post1``0.6.1.post``0.6.2``0.6.3``0.6.3.post1``0.6.4``0.6.4.post1``0.6.5``0.6.6``0.6.6.post1``0.7.0``0.7.1``0.7.2``0.7.3``0.8.0``0.8.1``0.8.2``0.8.3``0.8.4``0.8.5``0.9.0``0.9.1``0.9.2``0.10.0``main- 本仓库提供以下 Triton 版本：2.2.0、2.3.0、2.3.1、3.0.0、3.1.0、3.2.0、3.3.0、3.3.1、3.4.0。 2.2.0``2.3.0``2.3.1``3.0.0``3.1.0``3.2.0``3.3.0``3.3.1``3.4.0> [!IMPORTANT]

警告： 已禁用对新 GPU 的支持（v0.7.0+/main）

由于 vLLM 代码量、二进制文件大小和构建速度的增加，现在为所有 GPU 架构构建 vLLM 已不切实际。要在异构机器或集群上使用 vLLM，请对非 Pascal GPU 使用官方版本的 vLLM，对 Pascal GPU 使用本版本，并通过张量并行或流水线并行连接实例。

请注意，此变更仅影响 v0.7.0 以上版本（包括 main）。 v0.7.0``main## 安装（Docker）

vllm

# 拉取 vLLM 镜像
docker pull ghcr.io/sasha0552/vllm:v0.10.0 # 可省略版本指定符以安装夜间版本

# 现在可以参考官方 vLLM 文档操作。
# 将官方镜像替换为当前镜像即可。

安装（手动）

[!WARNING] 从 v0.6.5 开始，由于 PyTorch 问题，Wheels 目前处于半损坏状态。要使用它们，需要在安装 vLLM 后手动修补 PyTorch。

假设您使用当前目录中的虚拟环境，修补命令示例：

> sed -e "s/.major = 7/.major >= 6/g" \
> -i \
> venv/lib/python3.12/site-packages/torch/_inductor/scheduler.py \
> venv/lib/python3.12/site-packages/torch/utils/_triton.py
>

建议在继续之前安装 transient-package。它简化了 triton 的安装过程。

triton您可以使用 pipx 全局安装它：

pipx

pipx install transient-package

[!IMPORTANT] 如果不想安装 transient-package，您需要将

transient-package

> transient-package install \
> --interpreter venv/bin/python \
> --source triton \
> --target triton-pascal
>

替换为

> # 卸载 triton
> pip uninstall triton
>
> # 安装修补后的 triton
> pip install triton-pascal
>

请注意，transient-package 不仅仅执行 pip uninstall triton 和 pip install triton-pascal。特别是，它会尝试安装正确版本的 triton，并在应用程序检查 triton 是否存在时创建一个伪 triton 包。

transient-package``pip uninstall triton``pip install triton-pascal``triton``triton``triton### vllm

# 使用本仓库
export PIP_EXTRA_INDEX_URL="https://sasha0552.github.io/pascal-pkgs-ci/"

# 创建虚拟环境
python -m venv venv

# 激活虚拟环境
source venv/bin/activate

# 安装 vLLM
pip3 install vllm-pascal==0.10.0 # 可省略版本指定符以安装夜间版本

# 安装修补后的 triton
transient-package install \
--interpreter venv/bin/python \
--source triton \
--target triton-pascal

# 启动 vLLM
vllm serve --help

aphrodite-engine

# 使用本仓库
export PIP_EXTRA_INDEX_URL="https://sasha0552.github.io/pascal-pkgs-ci/"

# 创建虚拟环境
python3 -m venv venv

# 激活虚拟环境
source venv/bin/activate

# 安装 aphrodite-engine
pip3 install --extra-index-url https://downloads.pygmalion.chat/whl aphrodite-engine

# 安装修补后的 triton
transient-package install \
--interpreter venv/bin/python \
--source triton \
--target triton-pascal

# 启动 aphrodite-engine
aphrodite --help

triton（用于其他应用）

# 使用本仓库
export PIP_EXTRA_INDEX_URL="https://sasha0552.github.io/pascal-pkgs-ci/"

# 安装修补后的 triton
transient-package install \
--interpreter venv/bin/python \
--source triton \
--target triton-pascal

# 下载制品
gh run download

# 安装 twine
pip3 install twine

# 上传轮子
TWINE_PASSWORD= twine upload */*.whl

项目仓库 README（补充）

pascal-pkgs-ci

构建 Pascal 兼容版本的机器学习应用和库的主仓库。

1. 本仓库提供以下 vLLM 版本：0.5.5、0.6.0、0.6.1、0.6.1.post1、0.6.1.post、0.6.2、0.6.3、0.6.3.post1、0.6.4、0.6.4.post1、0.6.5、0.6.6、0.6.6.post1、0.7.0、0.7.1、0.7.2、0.7.3、0.8.0、0.8.1、0.8.2、0.8.3、0.8.4、0.8.5、0.9.0、0.9.1、0.9.2、0.10.0 以及 main（每日更新的夜间版本）。
2. 本仓库提供以下 Triton 版本：2.2.0、2.3.0、2.3.1、3.0.0、3.1.0、3.2.0、3.3.0、3.3.1、3.4.0。

[!IMPORTANT] 警告： 已禁用对新 GPU 的支持（v0.7.0+/main）

由于 vLLM 代码量、二进制文件大小和构建速度的增加，现在为所有 GPU 架构构建 vLLM 已不切实际。要在异构机器或集群上使用 vLLM，请对非 Pascal GPU 使用官方版本的 vLLM，对 Pascal GPU 使用本版本，并通过张量并行或流水线并行连接实例。

请注意，此变更仅影响 v0.7.0 以上版本（包括 main）。

安装（Docker）

https://github.com/vllm-project/vllm

# 拉取 vLLM 镜像
docker pull ghcr.io/sasha0552/vllm:v0.10.0 # 可省略版本指定符以安装夜间版本

# 现在可以参考官方 vLLM 文档操作。
# 将官方镜像替换为当前镜像即可。

安装（手动）

[!WARNING] 从 v0.6.5 开始，由于 PyTorch 问题，Wheels 目前处于半损坏状态。要使用它们，需要在安装 vLLM 后手动修补 PyTorch。

修补 PyTorch

假设您使用当前目录中的虚拟环境，修补命令示例：

> sed -e "s/.major -e "s/.major >= 7/.major >= 6/g" \
> -i \
> venv/lib/python3.12/site-packages/torch/_inductor/scheduler.py \
> venv/lib/python3.12/site-packages/torch/utils/_triton.py
>

建议安装 transient-package，它可简化 triton 的安装过程。

您可以使用 pipx 全局安装：

pipx install transient-package

[!IMPORTANT]

如果不想安装 transient-package

如果不想安装 transient-package，您需要将

> transient-package install \
> --interpreter venv/bin/python \
> --source triton \
> --target triton-pascal
>

替换为

> # 卸载 triton
> pip uninstall triton
>
> # 安装修补后的 triton
> pip install triton-pascal
>

请注意，transient-package 不仅仅执行 pip uninstall triton 和 pip install triton-pascal。特别是，它会尝试安装正确版本的 triton，并在应用程序检查 triton 是否存在时创建一个伪 triton 包。

https://github.com/vllm-project/vllm

# 使用本仓库
export PIP_EXTRA_INDEX_URL="https://sasha0552.github.io/pascal-pkgs-ci/"

# 创建虚拟环境
python -m venv venv

# 激活虚拟环境
source venv/bin/activate

# 安装 vLLM
pip3 install vllm-pascal==0.10.0 # 可省略版本指定符以安装夜间版本

# 安装修补后的 triton
transient-package install \
--interpreter venv/bin/python \
--source triton \
--target triton-pascal

# 启动 vLLM
vllm serve --help

https://github.com/PygmalionAI/aphrodite-engine

# 使用本仓库
export PIP_EXTRA_INDEX_URL="https://sasha0552.github.io/pascal-pkgs-ci/"

# 创建虚拟环境
python3 -m venv venv

# 激活虚拟环境
source venv/bin/activate

# 安装 aphrodite-engine
pip3 install --extra-index-url https://downloads.pygmalion.chat/whl aphrodite-engine

# 安装修补后的 triton
transient-package install \
--interpreter venv/bin/python \
--source triton \
--target triton-pascal

# 启动 aphrodite-engine
aphrodite --help

https://github.com/triton-lang/triton%EF%BC%88%E7%94%A8%E4%BA%8E%E5%85%B6%E4%BB%96%E5%BA%94%E7%94%A8%EF%BC%89

# 使用本仓库
export PIP_EXTRA_INDEX_URL="https://sasha0552.github.io/pascal-pkgs-ci/"

# 安装修补后的 triton
transient-package install \
--interpreter venv/bin/python \
--source triton \
--target triton-pascal

上传至 PyPI 的说明

# 下载制品
gh run download

# 安装 twine
pip3 install twine

# 上传轮子
TWINE_PASSWORD= twine upload */*.whl