ghcr.io/xiaomi/miloco-backend:latest

Xiaomi Miloco

English | 简体中文

小米面向未来全屋智能的开源AI解决方案。它将米家摄像头的音视频作为全模态感知入口，自研MiMo大模型作为智能大脑，并作为Agent插件运行在OpenClaw之上，以编排全屋设备，提供主动智能体验。

Miloco 2.0感知家中发生的情况，基于常识主动决策并控制设备，将“模糊长期”目标分解为可追踪的家庭任务，识别家庭成员，并借助家庭记忆为每位成员提供个性化服务：查询和控制设备、调整家居至成员舒适状态，或在恰当时刻提供有用提醒。

What's New

• 2026-07-17 — 发布 v2026.7.17：新增Hermes Agent兼容层以支持可插拔Agent运行时、双摄像头多通道双流感知，以及全量多模型支持（含运行时FPS热重载）；此外还增加了专用任务标签页、摄像头麦克风独立开关，以及时区/版本/安装加固。
• 2026-07-03 — 发布 v2026.7.3：新增事件反馈打包功能和对话式首次设置（全新安装时主动触发）；此外还优化了仪表盘内模型配置管理、感知稳定性（防误识“人员”检测）、摄像头生命周期及CLI诊断功能。
• 2026-06-18 — Miloco 2.0正式发布：重构为OpenClaw插件，新增通用常识、身份识别、家庭记忆、家庭任务、主动智能及家庭仪表盘。详见下方核心功能。

Core Features

• 通用常识（General Common Sense）—— 无需预设规则。内置常识可自动检测危险并发出分级警报（例如儿童玩刀、老人跌倒）。
• 身份识别（Identity Recognition）—— 融合人脸、体态等身份信号，通过大模型识别家庭成员。支持主动注册新成员及基于身份的个性化操作。
• 家庭记忆（Home Memory）—— 从感知和交互中提取家庭成员的长期习惯与偏好，作为Agent主动决策时的参考。稳定的长期习惯还可触发主动提醒或升级为自动执行的家庭任务。
• 家庭任务（Household Tasks）—— 从单一“条件触发规则”升级为复杂、长期运行的家庭任务：条件自动化（“有人进入时开灯”）、定时提醒（“每天提醒我吃药”）、习惯追踪（“每天锻炼半小时”）等。触发后，Agent理解意图并自主执行。
• 主动智能（Proactive Intelligence）—— 基于通用常识、身份识别、家庭记忆、家庭任务四大基础能力，系统像一位懂常识、了解家人且能提前规划的管家，适时观察、推理并介入，在用户开口前完成任务。
• 家庭仪表盘（Home Dashboard）—— 面向用户的Web仪表盘，用于查看家庭实时概况、米家设备、家庭成员及档案，以及历史事件记录。

打造专属于你的Miloco。其默认行为未必总能符合你的喜好——只需通过OpenClaw告知Miloco（例如“家里乱的时候不要提醒我”），它会记住你的偏好并主动调整行为。每一次反馈都在“培养”一个适应你家的Miloco，相处越久，它就越了解你。

Prerequisites

• 硬件：推荐≥ 4GB内存和≥ 256GB存储，需24小时运行。推荐使用Mac mini。
• 操作系统：macOS / Linux（Windows需在WSL下运行）。
• OpenClaw — Miloco作为插件运行其上，需先安装版本≥ 2026.5.2。
• 小米账号 + 已添加至米家的设备。
• 多模态大模型API密钥 — 推荐使用小米MiMo：感知功能使用MiMo-v2.5，Agent功能使用MiMo-v2.5-pro（在OpenClaw中配置）。

[!IMPORTANT] 成本说明：Miloco 2.0的感知和Agent主要依赖云端大模型，会产生持续的API使用成本——请注意监控用量。你可以在家庭仪表盘的“模型”页面查看令牌消耗情况。

• 配置模型 — 在“模型”页面，输入您的MiMo api_key（如果在安装过程中已填写则跳过）。模型名称和Base URL默认值为MiMo，无需修改。api_key- 绑定小米账户 — 绑定后，米家设备将自动拉取。- 启用摄像头感知 — 在“概览”页面，打开您希望感知的摄像头开关（其余摄像头保持关闭状态，不会进行分析）。您也可以通过命令行执行此操作：

miloco-cli config set model.omni.api_key sk-xxx # 配置模型密钥（默认使用MiMo；通常只需配置此项）
miloco-cli account bind # 绑定小米账户
miloco-cli scope camera enable # 为特定摄像头启用感知功能

运行后，请参阅《用户手册》了解Miloco的日常使用方法。

项目结构

miloco-plugin/
├── backend/ # uv工作区
│ ├── miloco/ # 主服务：感知引擎、规则、MIoT网关
│ └── miot/ # MIoT SDK（独立子包）
├── cli/ # miloco-cli命令行工具
├── plugins/
│ ├── openclaw/ # OpenClaw插件（TypeScript）
│ └── skills/ # 智能体技能文档
├── web/ # 家庭仪表盘（React 19 + Vite）
├── scripts/ # build.sh / install.sh / manifest.json
└── knowledge/ # 项目知识库

进一步文档

• 后端服务 — FastAPI + 感知引擎 + 规则 + MIoT网关
• 命令行工具miloco-cli — 服务、设备和配置管理
• 家庭仪表盘Web端 — 部署架构和本地开发
• 完整知识库 — 架构/模块/功能/API快速参考

社区

遇到问题、想要提供反馈或只是交流使用场景？扫描***加入我们的飞书用户群（***永久有效）：

致谢

Miloco站在以下开源项目的肩膀上：

• OpenClaw — AI智能体运行时和插件平台
• jMuxer（MIT许可）— 家庭仪表盘的实时视频流复用
• BGE / bge-small-zh-v1.5（BAAI，MIT许可）— 文本嵌入模型
• Silero VAD（Silero Team，MIT许可）— 语音活动检测，用于感知语音区域的门控

许可协议

完整许可条款请参见LICENSE.md。重要声明：本项目仅用于非商业用途。未经小米公司书面授权，不得用于开发应用程序（apps）、网络服务或其他形式的软件。

---

项目仓库 README（补充）

小米Miloco

English | 简体中文

小米面向未来全屋智能的开源AI解决方案。它以米家摄像头的音视频作为全模态感知入口，以自研MiMo大模型为智能大脑，作为智能体插件运行在[***]

Miloco 2.0感知家庭中发生的事情，基于常识主动决策并控制设备，将“模糊且长期”的目标分解为可跟踪的家庭任务，识别家庭成员，并借助家庭记忆为每位成员提供个性化服务：查询和控制设备、调整家居环境至成员舒适状态，或在恰当的时刻提供有用的提醒。

新增功能

• 2026-07-17 — 发布v2026.7.17：新增Hermes智能体兼容层以支持可插拔智能体运行时、双摄像头多通道双流感知，以及全模型支持与运行时FPS热重载；此外还增加了专用任务标签页、摄像头麦克风单独开关，以及时区/版本/安装加固。
• 2026-07-03 — 发布v2026.7.3：新增事件反馈打包和对话式首次运行设置（全新安装时主动启动）；此外还改进了仪表盘中的模型配置管理、感知稳定性（防误识“人员”检测）、摄像头生命周期和CLI诊断功能。
• 2026-06-18 — Miloco 2.0正式发布：重构为OpenClaw插件，新增通用常识、身份识别、家庭记忆、家庭任务、主动智能和家庭仪表盘。详见下方核心功能。

核心功能

• 通用常识 — 无需预设规则。内置常识可自动检测危险并发出分级警报（例如儿童玩刀、老人跌倒）。
• 身份识别 — 融合人脸、体态等身份信号，通过大模型识别家庭成员。支持主动注册新成员及基于身份的个性化操作。
• 家庭记忆 — 从感知和交互中提炼家庭成员的长期习惯和偏好，作为智能体主动决策的参考。稳定的长期习惯还可触发主动提醒或升级为自动执行的家庭任务。
• 家庭任务 — 从单一“条件触发规则”升级为复杂、长期运行的家庭任务：条件自动化（“有人进入时开灯”）、定时提醒（“每天提醒我吃药”）、习惯追踪（“每天锻炼半小时”）等。触发后，智能体理解意图并自主执行。
• 主动智能 — 基于通用常识、身份识别、家庭记忆和家庭任务四大基础能力，系统像一位懂常识、了解家人且能提前规划的管家一样，在恰当的时机观察、推理并干预，在用户开口之前就完成任务。
• 家庭仪表盘 — 面向用户的Web仪表盘，用于查看家庭实时概览、米家设备、家庭成员及档案，以及历史事件记录。

[!NOTE] 培养属于你的Miloco。 其默认行为未必总能符合你的喜好——只需通过OpenClaw告诉Miloco（例如“家里乱的时候不要提醒我”），它会记住你的偏好并主动调整行为。每一次反馈都在“培养”一个适应你家的Miloco，相处时间越长，它就越了解你。

前提条件

• 硬件：推荐≥4GB内存和≥256GB存储，需24小时运行。推荐使用Mac mini。
• 操作系统：macOS / Linux（Windows下可在WSL中运行）。
• OpenClaw — Miloco作为插件运行在其之上，因此需先[***]
• 小米账户 + 已添加至米家的设备。
• 多模态大模型API密钥 — 推荐使用小米MiMo：感知功能使用MiMo-v2.5，智能体使用MiMo-v2.5-pro（在OpenClaw中配置）。

[!IMPORTANT] 成本说明：Miloco 2.0的感知和智能体主要依赖云端大模型，会产生持续的API使用成本——请注意监控用量。您可以在家庭仪表盘的“模型”页面查看令牌消耗情况。

安装

选项1：通过智能体安装（推荐）

同时兼容 OpenClaw 和 https://github.com/NousResearch/hermes-agent — 向您的智能体发送以下指令：

Please install the Miloco plugin for me: https://raw.githubusercontent.com/XiaoMi/xiaomi-miloco/main/scripts/install-guide.md

选项 2：单行命令行安装

curl -LsSf https://github.com/XiaoMi/xiaomi-miloco/releases/latest/download/install.sh | bash

默认值：OpenClaw。若要为 Hermes Agent 安装，请显式指定：

curl -LsSf https://github.com/XiaoMi/xiaomi-miloco/releases/latest/download/install.sh | bash -s -- --agent-platform=hermes

选项 3：从源代码构建

从项目根目录运行：

bash scripts/install.sh --dev # 从源代码构建（scripts/build.sh），然后本地安装

---

Windows（WSL）

无论选择上述哪种方法，均不支持原生 Windows——请在 WSL 内安装并运行所有内容。

[!IMPORTANT] 本地摄像头流需要额外的 WSL 网络设置。 控制台的“家中实时”视图通过局域网拉取摄像头流，而 WSL 的默认 NAT 模式会阻止摄像头发送的 UDP 数据包——因此，必须启用镜像网络并允许 Hyper-V 防火墙，流才能加载。

1. 在 Windows 上 — 将以下内容添加到 %USERPROFILE%\.wslconfig（即 C:\Users\<你的用户名>\.wslconfig；若文件不存在则创建），然后在 PowerShell 中运行 wsl --shutdown 重启 WSL：

[wsl2]
networkingMode=mirrored

2. 在 Windows 上（管理员 PowerShell） — 允许入站流量到 WSL：

Set-NetFirewallHyperVVMSetting -Name '{40E0AC32-46A5-438A-A0B2-2B479E8F2E90}' -DefaultInboundAction Allow

3. 在 WSL 中 — 安装 Miloco 后，使用 miloco-cli doctor 验证（它会检查防火墙和 WSL 网络）。

快速开始

安装后，重启 OpenClaw 网关以使插件生效：

openclaw gateway restart

然后打开家庭控制台完成初始设置：

miloco-cli dashboard # 在浏览器中打开家庭控制台（或直接访问 http://<wsl-ip>:1810/）

通过控制台三步开始使用：

1. 配置模型 — 在“模型”页面，输入您的 MiMo api_key（若安装过程中已填写则跳过）。模型名称和 Base URL 默认为 MiMo，无需修改。
2. 绑定小米账号 — 绑定后将自动拉取米家设备。
3. 启用摄像头感知 — 在“概览”页面，打开您想要感知的摄像头开关（其余摄像头保持关闭状态且不进行分析）。

您也可以通过命令行执行这些操作：

miloco-cli config set model.omni.api_key sk-xxx # 配置模型密钥（默认为 MiMo；通常只需配置此项）
miloco-cli account bind # 绑定小米账号
miloco-cli scope camera enable # 为特定摄像头启用感知

运行后，请参阅 用户手册 了解 Miloco 的日常使用方法。

项目结构

miloco-plugin/
├── backend/ # uv workspace
│ ├── miloco/ # 主服务：感知引擎、规则、MIoT 网关
│ └── miot/ # MIoT SDK（独立子包）
├── cli/ # miloco-cli 命令行工具
├── plugins/
│ ├── openclaw/ # OpenClaw 插件（TypeScript）
│ └── skills/ # 智能体技能文档
├── web/ # 家庭控制台（React 19 + Vite）
├── scripts/ # build.sh / install.sh / manifest.json
└── knowledge/ # 项目知识库

更多文档

• 后端服务 — FastAPI + 感知引擎 + 规则 + MIoT 网关
• 命令行工具 miloco-cli — 服务、设备和配置管理
• 家庭控制台 Web — 部署架构和本地开发
• 完整知识库 — 架构 / 模块 / 功能 / API 快速参考

社区

遇到问题、想提供反馈或交流使用场景？扫描***加入我们的飞书用户群（***永久有效）：

致谢

Miloco 的开发得益于以下开源项目：

• https://openclaw.ai — AI 智能体运行时和插件平台
• https://github.com/samirkumardas/jmuxer%EF%BC%88MIT%EF%BC%89%E2%80%94 家庭控制台的实时视频流复用
• https://huggingface.co/BAAI/bge-small-zh-v1.5%EF%BC%88BAAI%EF%BC%8CMIT%EF%BC%89%E2%80%94 文本嵌入模型
• https://github.com/snakers4/silero-vad%EF%BC%88Silero Team，MIT）— 语音活动检测，控制感知语音范围

许可证

完整许可证条款请参见 LICENSE.md。

重要声明：本项目仅用于非商业用途。未经小米公司书面授权，不得用于开发应用程序（apps）、网络服务或其他形式的软件。