verl

hiyouga/verl Docker 镜像

VolcEngine/verl 是火山引擎推出的强化学习框架,旨在提供高效、易用的强化学习开发与训练工具,支持多种经典及前沿算法,具备高性能计算与灵活扩展能力,助力开发者快速构建、训练和部署强化学习模型;hiyouga/EasyR1 则是一款轻量级强化学习工具库,专注于简化强化学习流程,通过直观的接口设计、丰富的示例代码及详尽文档,降低入门门槛,适合初学者快速上手及科研人员进行快速原型开发,为强化学习学习与应用提供便捷支持。

8 次收藏下载次数: 0状态:社区镜像维护者:hiyouga仓库类型:镜像最近更新:
下载命令
点击查看

项目一:VERL(火山引擎强化学习平台)

核心功能

VERL 是火山引擎开发的强化学习(RL)平台,主打高性能和易用性,核心特点包括:

  • 算法覆盖广:支持 PPO、SAC、DQN 等经典 RL 算法,也兼容 Transformer-based 等前沿算法,满足不同场景需求。
  • 分布式训练加速:内置分布式训练框架,可利用多机多卡资源提升训练效率,适合处理大规模状态空间任务。
  • 低门槛使用:API 设计简洁,封装了数据处理、模型训练、评估等流程,新手也能快速上手。
  • 生态集成:可对接火山引擎的云服务器、存储等工具,方便工业级应用部署。

适用场景

  • 学术研究:快速复现 RL 算法,验证新模型效果。
  • 工业开发:机器人控制、推荐系统优化、自动驾驶决策等工业级 RL 应用开发。

快速上手

安装

bash
# 从源码安装(推荐)  
git clone []  
cd verl && pip install -e .  

简单示例(训练 PPO 模型)

python
from docker.xuanyuan.run/verl.algorithms import PPO  
from docker.xuanyuan.run/verl.environments import GymEnv  

# 初始化环境和算法  
env = GymEnv("CartPole-v1")  
agent = PPO(env.observation_space, env.action_space, lr=3e-4)  

# 训练 100 个回合  
for episode in range(100):  
    obs = env.reset()  
    total_reward = 0  
    while True:  
        action = agent.select_action(obs)  
        next_obs, reward, done, _ = env.step(action)  
        agent.store_transition(obs, action, reward, next_obs, done)  
        total_reward += reward  
        if done:  
            agent.update()  # 每回合更新策略  
            print(f"Episode {episode}, Reward: {total_reward}")  
            break  
        obs = next_obs  

项目二:EasyR1(R1 任务轻量化实现)

核心功能

EasyR1 是针对 R1 任务(一种检索增强生成任务,结合检索和生成的混合 NLP 任务)的轻量级实现,特点如下:

  • 模型兼容性强:支持 LLaMA、Qwen、ChatGLM 等主流开源大语言模型(LLM),无需修改模型结构即可适配。
  • 低资源部署:优化了推理流程,可在单卡 GPU 或甚至 CPU 上运行,适合个人开发者和小团队。
  • 全流程示例:提供从数据预处理(检索库构建)、模型微调(可选)到推理生成的完整代码示例,开箱即用。
  • 可扩展性高:代码结构清晰,支持自定义检索器(如 FAISS、BM25)和生成策略。

适用场景

  • 学习实践:想了解检索增强生成(RAG)流程的开发者,可通过 EasyR1 快速掌握核心逻辑。
  • 小规模应用:开发轻量级 RAG 工具(如本地知识库问答、文档辅助写作)。

快速上手

安装

bash
# 克隆仓库并安装依赖  
git clone []  
cd EasyR1 && pip install -r requirements.txt  

简单示例(运行 R1 推理)

python
from docker.xuanyuan.run/easyr1 import R1Pipeline  

# 初始化 R1 流程(指定模型和检索库)  
pipeline = R1Pipeline(  
    model_name_or_path="lmsys/vicuna-7b-v1.5",  # 选用 Vicuna-7B 模型  
    retriever_type="faiss",  # 使用 FAISS 检索器  
    corpus_path="data/sample_corpus.txt"  # 检索库文本文件  
)  

# 输入问题,获取 R1 生成结果  
question = "强化学习和监督学习的核心区别是什么?"  
response = pipeline.generate(question, top_k=3)  # 检索 top 3 相关文本  
print(f"Answer: {response}")  

总结

VERL 聚焦强化学习全流程开发,适合需要高性能训练和工业级部署的场景;EasyR1 则专注于 R1 任务的轻量化落地,适合学习和小规模 RAG 应用。两者均提供开源代码和详细示例,降低了对应领域的上手门槛。

镜像拉取方式

您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。

轩辕镜像加速拉取命令点我查看更多 verl 镜像标签

docker pull docker.xuanyuan.run/hiyouga/verl:<标签>

DockerHub 原生拉取命令

docker pull hiyouga/verl:<标签>
专业版 · 高速稳定拉取镜像
50GB 仅 ¥8/年
高速镜像下载在线技术支持专业版保障服务可用付费会员免广告