huaweinoah/smarts

SMARTS

SMARTS（Scalable Multi-Agent RL Training School）是一个用于强化学习（RL）和多智能体自动驾驶研究的仿真平台，专注于真实和多样化的交互。它是华为诺亚方舟实验室https://github.com/huawei-noah/xingtian/ RL平台套件的一部分。

相关论文：SMARTS: Scalable Multi-Agent Reinforcement Learning Training School for Autonomous Driving，其中介绍了该项目的部分目标背景。

多智能体实验示例

python
import gym

from smarts.core.agent_interface import AgentInterface, AgentType
from smarts.core.agent import Agent
from smarts.zoo.agent_spec import AgentSpec

class SimpleAgent(Agent):
    def act(self, obs):
        return "keep_lane"

agent_spec = AgentSpec(
    interface=AgentInterface.from_type(AgentType.Laner, max_episode_steps=None),
    agent_builder=SimpleAgent,
)

agent_specs = {
    "Agent-007": agent_spec,
    "Agent-008": agent_spec,
}

env = gym.make(
    "smarts.env:hiway-v0",
    scenarios=["scenarios/sumo/loop"],
    agent_specs=agent_specs,
)

agents = {
    agent_id: agent_spec.build_agent()
    for agent_id, agent_spec in agent_specs.items()
}
observations = env.reset()

for _ in range(1000):
    agent_actions = {
        agent_id: agents[agent_id].act(agent_obs)
        for agent_id, agent_obs in observations.items()
    }
    observations, _, _, _ = env.step(agent_actions)

核心功能和特性

• 多智能体支持：支持多智能体交互场景，可同时训练和测试多个自动驾驶智能体
• 真实交互模拟：提供接近真实世界的交通环境和车辆交互行为
• Envision可视化工具：内置可视化服务器，可通过Web界面实时查看仿真过程
• Scenario Studio场景创建：支持自定义场景生成，满足多样化研究需求
• 灵活的接口设计：提供AgentInterface接口，支持不同类型智能体（如Laner、Follower等）
• 与主流RL框架集成：兼容的智能体可以与主流的强化学习框架（如PyMARL、MALib）结合使用

使用场景和适用范围

• 强化学习算法的开发与验证
• 多智能体协作与竞争策略研究
• 自动驾驶决策系统的仿真测试
• 复杂交通环境下的路径规划和行为预测研究
• 大规模智能体交互的分布式训练

安装与配置

环境要求

• Docker已安装并运行
• 至少4GB内存，推荐8GB以上
• 支持OpenGL的显卡（如需可视化）

拉取镜像

bash
docker pull huaweinoah/smarts:<version>

其中<version>为具体版本号，例如v0.5.1。

运行容器

bash
docker run --rm -it -v /path/to/local/scenarios:/app/scenarios -p 8081:8082 huaweinoah/smarts:<version>

• --rm：容器退出后自动删除
• -it：交互式终端
• -v：将本地的场景目录挂载到容器内
• -p：将容器内的8082端口映射到主机的8081端口（用于访问Envision）

运行示例

1. 启动Envision服务器：

bash
scl envision start -s /app/scenarios -p 8082

2. 构建场景（首次运行或场景修改后需要执行）：

bash
scl scenario build /app/scenarios/sumo/loop --clean

3. 运行示例代码：

bash
python3 -m examples.single_agent --env-config=env.json

配置参数

• --headless：以无头模式运行，不启动图形界面
• --num_workers：指定并行运行的智能体数量
• --max_episode_steps：设置每局游戏的最大步数
• --render：启用渲染功能

多智能体实验示例

多智能体交互

bash
python3 -m examples/multi_agent.py --scenario scenarios/sumo/loop

并行环境

bash
python3 -m examples/parallel_environment.py --num_workers 4

可视化功能

1. 安装并启动Visdom：

bash
pip install visdom
visdom

2. 在代码中启用Visdom：

python
env = gym.make(
    "smarts.env:hiway-v0",
    scenarios=["scenarios/sumo/loop"],
    agent_specs=agent_specs,
    visdom=True,
)

3. 访问http://localhost:8080查看可视化结果，包括传感器数据、路径规划结果等。

与其他框架集成

与PyMARL集成

bash
git clone https://github.com/oxwhirl/pymarl.git
cd pymarl
pip install -r requirements.txt
python src/main.py --config=qmix --env-config=smarts

与MALib集成

bash
git clone https://github.com/microsoft/malib.git
cd malib
pip install -r requirements.txt
python examples/run_smarts.py --algo SAC --scenario ./scenarios/sumo/loop --n_agents 5

故障排除

无法连接到Envision

• 检查容器内的端口是否正确映射，确保端口未被占用。
• 确认Envision服务已启动：ps aux | grep "smarts.env"。

场景加载失败

• 确保场景文件完整，或重新构建场景：scl scenario build <path/to/scenario>。

性能问题

• 减少同时运行的智能体数量，或使用--headless模式。
• 调整仿真步长和传感器参数以降低计算负载。

引用

如果您在研究中使用了SMARTS，请引用以下论文：

bibtex
@misc{zhou2020smarts,
      title={SMARTS: Scalable Multi-Agent Reinforcement Learning Training School for Autonomous Driving},
      author={Ming Zhou and Jun Luo and Julian Villella and Yaodong Yang and David Rusu and Jiayu Miao and Weinan Zhang and Montgomery Alban and Iman Fadakar and Zheng Chen and Aurora Chongxi Huang and Ying Wen and Kimia Hassanzadeh and Daniel Graves and Dong Chen and Zhengbang Zhu and Nhat Nguyen and Mohamed Elsayed and Kun Shao and Sanjeevan Ahilan and Baokuan Zhang and Jiannan Wu and Zhengang Fu and Kasra Rezaee and Peyman Yadollahpour and Mohsen Rohani and Nicolas Perez Nieves and Yihan Ni and Seyedershad Banijamali and Alexander Cowen Rivers and Zheng Tian and Daniel Palenicek and Haitham Bou Ammar and Hongbo Zhang and Wulong Liu and Jianye Hao and Jun Wang},
      year={2020},
      eprint={2010.09776},
      archivePrefix={arXiv},
      primaryClass={cs.MA}
}