unsloth/unsloth

Unsloth Docker镜像

https://github.com/unslothai/unsloth%E6%98%AF%E4%B8%80%E4%B8%AA%E7%94%A8%E4%BA%8ELLM%EF%BC%88%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%EF%BC%89%E5%BE%AE%E8%B0%83%E4%B8%8E%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%EF%BC%88RL%EF%BC%89%E7%9A%84%E5%BC%80%E6%BA%90%E6%A1%86%E6%9E%B6%E3%80%82

本镜像为预构建Docker容器，包含所有依赖组件，无需额外设置即可立即使用Unsloth。参考使用指南。

🚀 快速开始

该容器需要安装NVIDIA Container Toolkit。

bash
docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

通过http://localhost:8888访问Jupyter Lab，即可开始微调工作！

📋 特性

• 预安装Unsloth环境 - 无需在笔记本中安装依赖包，直接import unsloth即可运行
• 即用型笔记本 - unsloth-notebooks/目录包含微调示例笔记本
• 双访问模式 - 同时支持Jupyter Lab和SSH访问
• 非root用户配置 - 使用unsloth用户运行，增强安全性
• 环境兼容性 - 支持Windows、Linux、WSL及多数NVIDIA GPU，包括Blackwell架构

🔧 配置选项

环境变量

端口映射

将容器端口映射到主机系统：

bash
-p <主机端口>:<容器端口>

必要映射：

• Jupyter Lab: -p 8000:8888（或自定义端口）
• SSH访问: -p 2222:22（或自定义端口）

卷挂载

⚠️ 注意： 容器不会在运行之间持久化数据。使用卷挂载保存工作内容。

bash
-v <本地主机目录>:<容器目录>

推荐挂载：

• -v $(pwd)/work:/workspace/work - 挂载当前目录下的work文件夹
• -v ~/notebooks:/workspace/notebooks - 挂载本地笔记本目录

📖 使用示例

完整示例

bash
docker run -d -e JUPYTER_PORT=8000 \
  -e JUPYTER_PASSWORD="mypassword" \
  -e "SSH_KEY=$(cat ~/.ssh/container_key.pub)" \
  -e USER_PASSWORD="unsloth2024" \
  -p 8000:8000 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

设置SSH密钥

若没有SSH密钥对：

bash
# 生成新密钥对
ssh-keygen -t rsa -b 4096 -f ~/.ssh/container_key

# 在docker run中使用公钥
-e "SSH_KEY=$(cat ~/.ssh/container_key.pub)"

# 通过SSH连接
ssh -i ~/.ssh/container_key -p 2222 unsloth@localhost

🗂️ 容器结构

• /workspace/work/ - 挂载的工作目录
• /workspace/unsloth-notebooks/ - 包含Unsloth微调示例笔记本的目录
• /home/unsloth/ - unsloth用户的主目录

🔒 安全注意事项

• 默认以非root用户unsloth运行，提升安全性
• 使用USER_PASSWORD进行容器内sudo操作
• SSH访问需通过公钥认证
• 已支持Blackwell GPU架构

🤝 获取帮助

• 查阅Unsloth文档
• 在Reddit社区提问：r/unsloth
• 查看unsloth-notebooks/目录中的示例笔记本