shaderobotics/swin

SWIN-ROS2包装器

这是SWIN Transformer（使用移位窗口的分层视觉Transformer）的ROS2包装器，带有图像分类头。我们利用huggingface和transformers库作为算法来源（参考https://huggingface.co/microsoft/swin-tiny-patch4-window7-224%EF%BC%89%E3%80%82%E8%AF%A5%E5%AE%B9%E5%99%A8%E6%97%A8%E5%9C%A8%E4%BD%9C%E4%B8%BA%E7%8B%AC%E7%AB%8B%E6%8E%A5%E5%8F%A3%E5%92%8C%E8%8A%82%E7%82%B9%EF%BC%8C%E6%B6%88%E9%99%A4%E9%9B%86%E6%88%90%E5%8D%95%E7%8B%AC%E5%8C%85%E5%92%8C%E8%A7%A3%E5%86%B3%E5%A4%A7%E9%87%8F%E4%BE%9D%E8%B5%96%E9%97%AE%E9%A2%98%E7%9A%84%E5%BF%85%E8%A6%81%E6%80%A7%E3%80%82%E6%88%91%E4%BB%AC%E5%B7%B2%E4%B8%BA%E6%AF%8F%E4%B8%AAROS2%E5%8F%91%E8%A1%8C%E7%89%88%E6%9E%84%E5%BB%BA%E4%BA%86%E7%AE%97%E6%B3%95%E7%9A%84%E6%89%80%E6%9C%89%E4%B8%8D%E5%90%8C%E7%89%88%E6%9C%AC%EF%BC%88%E5%A6%82%60base-patch16-224%60%E3%80%81%60large-patch16-224%60%E7%AD%89%EF%BC%89%E3%80%82

SWIN Transformer在视觉Transformer基础上改进，针对NLP与视觉的差异，提出了通过移位窗口计算表示的分层Transformer。移位窗口方案通过将自注意力计算限制在非重叠局部窗口，同时允许跨窗口连接，提高了效率。这种分层架构具有在不同尺度建模的灵活性，且计算复杂度与图像大小呈线性关系。

安装指南

使用Docker拉取

1. 安装https://www.docker.com/%E5%B9%B6%E7%A1%AE%E4%BF%9DDocker%E5%AE%88%E6%8A%A4%E8%BF%9B%E7%A8%8B%E5%9C%A8%E5%90%8E%E5%8F%B0%E8%BF%90%E8%A1%8C%E3%80%82
2. 运行docker pull shaderobotics/swin:${ROS2_DISTRO}-${MODEL_VERSION}，我们支持所有ROS2发行版及以下模型版本部分列出的所有模型版本。
3. 按照下方使用部分的运行命令操作。

本地构建Docker镜像

1. 安装https://www.docker.com/%E5%B9%B6%E7%A1%AE%E4%BF%9DDocker%E5%AE%88%E6%8A%A4%E8%BF%9B%E7%A8%8B%E5%9C%A8%E5%90%8E%E5%8F%B0%E8%BF%90%E8%A1%8C%E3%80%82
2. 克隆仓库：git clone https://github.com/open-shade/swin.git
3. 进入仓库：cd swin
4. 若要选择特定模型版本，编辑/swin/swin.py中的ALGO_VERSION常量。
5. 构建容器：docker build . -t [名称]，此过程可能需要较长时间。我们还提供了相关cloudbuild.sh脚本用于在GCP上构建所有关联版本。
6. 按照下方使用部分的运行命令操作。

模型版本

• tiny-patch4-window7-224
• base-patch4-window7-224
• large-patch4-window7-224
• small-patch4-window7-224
• base-patch4-window12-384
• large-patch4-window7-224

有关这些版本的更多信息可参考https://arxiv.org/abs/2010.***%E3%80%82%60base%60%E3%80%81%60large%60%E4%BB%A3%E8%A1%A8%E5%AD%98%E5%82%A8%E7%9A%84%E6%9D%83%E9%87%8D%E6%95%B0%E9%87%8F%EF%BC%88%E5%8D%B3%E6%A8%A1%E5%9E%8B%E5%A4%A7%E5%B0%8F%EF%BC%89%EF%BC%9BWindow%E6%8C%87%E7%A7%BB%E4%BD%8D%E7%AA%97%E5%8F%A3%E5%A4%A7%E5%B0%8F%EF%BC%9B384%E6%98%AF%E5%9B%BE%E5%83%8F%E7%9A%84%E5%88%86%E8%BE%A8%E7%8E%87%E5%A4%A7%E5%B0%8F%E3%80%82

Docker命令示例

bash
docker pull docker.xuanyuan.run/shaderobotics/swin:foxy-base-patch4-window7-224

使用方法

运行SWIN节点

执行docker run --net=host docker.xuanyuan.run/shaderobotics/swin:${ROS_DISTRO}-${MODEL_VERSION}，节点应已运行。然后执行ros2 topic list，即可看到所有可能的发布和订阅路由。

有关如何运行Docker镜像的更多详细信息，请访问官方Docker文档https://docs.docker.com/engine/reference/run/%E3%80%82%E5%85%B3%E4%BA%8EROS2%E5%A6%82%E4%BD%95%E5%9C%A8%E5%A4%96%E9%83%A8%E7%8E%AF%E5%A2%83%E6%88%96%E5%A4%9A%E4%B8%AADocker%E5%AE%B9%E5%99%A8%E4%B9%8B%E9%97%B4%E9%80%9A%E4%BF%A1%EF%BC%8C%E8%AF%B7%E8%AE%BF%E9%97%AE%E5%AE%98%E6%96%B9ROS2%EF%BC%88foxy%EF%BC%89%E6%96%87%E6%A1%A3https://docs.ros.org/en/foxy/How-To-Guides/Run-2-nodes-in-single-or-separate-docker-containers.html#%E3%80%82

话题

测试/演示

为测试并确保包正确安装，将仓库根目录的Dockerfile替换为demo文件夹中的Dockerfile。演示镜像中包含由https://github.com/klintan%E5%BC%80%E5%8F%91%E7%9A%84https://github.com/klintan/ros2_video_streamer%EF%BC%8C%E5%8F%AF%E7%9B%B4%E6%8E%A5%E5%90%91SWIN%E8%8A%82%E7%82%B9%E5%8F%91%E5%B8%83%E5%9B%BE%E5%83%8F%E5%B9%B6%E5%A4%84%E7%90%86%EF%BC%8C%E4%BB%A5%E4%BE%BF%E8%A7%82%E5%AF%9F%E8%BE%93%E5%87%BA%E3%80%82

运行演示：执行docker build . -t [名称]，然后docker run --net=host -t [名称]。查看日志可了解容器内发生的情况。若要进入运行中的容器执行其他操作，执行docker ps找到容器ID，然后执行docker exec -it [容器ID] /bin/bash。