ghcr.io/xiaomi/miloco-ai_engine:v0.1.1

Xiaomi Miloco

English | 简体中文

小米面向未来全屋智能的开源AI解决方案。它将米家摄像头的音视频作为全模态感知网关，采用自研MiMo大模型作为智能大脑，并作为Agent插件运行在***之上，编排全屋设备以提供主动、智能的体验。

Miloco 2.0能够感知家中发生的情况，基于常识做出主动决策并控制设备，将“模糊的长期目标”分解为可追踪的家庭任务，识别家庭成员，并借助家庭记忆为每位成员提供个性化服务：查询和控制设备、将家居环境调节至每位成员的舒适状态，或在恰当的时刻提供有用的提醒。

What's New

• 2026-06-18 — Miloco 2.0正式发布：重新架构为***插件，新增通用常识、身份识别、家庭记忆、家庭任务、主动智能及家庭仪表盘。详见下文核心功能。

Core Features

• 通用常识 — 无需预设规则。内置常识可自动检测危险并发出分级警报（例如儿童玩刀、老人跌倒）。
• 身份识别 — 融合人脸、体态等身份信号，通过大模型识别家庭成员。支持主动注册新成员及基于身份的个性化操作。
• 家庭记忆 — 从感知和交互中提炼家庭成员的长期习惯与偏好，作为Agent进行主动决策时的参考。稳定的长期习惯还可触发主动提醒或升级为自动执行的家庭任务。
• 家庭任务 — 从单一的“条件触发规则”升级为复杂、长期运行的家庭任务：条件自动化（“有人进入时开灯”）、定时提醒（“每天提醒我吃药”）、习惯追踪（“每天锻炼半小时”）等。触发后，Agent会理解意图并自主执行。
• 主动智能 — 基于通用常识、身份识别、家庭记忆和家庭任务四大基础能力，系统像一位懂常识、了解家人且能提前规划的管家一样，适时观察、推理并干预，在用户开口前就完成任务。
• 家庭仪表盘 — 面向用户的Web仪表盘，用于查看家庭实时概况、Mi Home设备、家庭成员及档案，以及过往事件历史。

培养专属于你的Miloco。其开箱即用的行为未必总能符合你的喜好——只需通过***告诉Miloco（例如“家里乱的时候不要提醒我”），它就会记住你的偏好并主动调整行为。每一次反馈都在“培养”一个适应你家的Miloco，相处越久，它就越了解你。

项目仓库 README（补充）

Xiaomi Miloco

English | 简体中文

小米面向未来全屋智能的开源AI解决方案。它将米家摄像头的音视频作为全模态感知网关，自研MiMo大模型作为智能大脑，并作为Agent插件运行在[***]

Miloco 2.0感知家中发生的情况，基于常识做出主动决策并控制设备，将“模糊长期”目标分解为可追踪的家庭任务，识别家庭成员，并利用家庭记忆为每位成员提供个性化服务：查询和控制设备、调整家居至成员舒适状态，或在恰当时刻提供有用提醒。

What's New

• 2026-06-18 — Miloco 2.0正式发布：重构为***插件，新增通用常识、身份识别、家庭记忆、家庭任务、主动智能及家庭仪表盘。详见下文核心功能。

Core Features

• 通用常识 — 无需预设规则。内置常识可自动检测危险并发出分级警报（例如儿童玩刀、老人跌倒）。
• 身份识别 — 融合人脸、体态等身份信号，通过大模型识别家庭成员。支持主动注册新成员及基于身份的个性化操作。
• 家庭记忆 — 从感知和交互中提取家庭成员的长期习惯与偏好，作为Agent做出主动决策时的参考。稳定的长期习惯还可触发主动提醒或升级为自动执行的家庭任务。
• 家庭任务 — 从单一“条件触发规则”升级为复杂、长期运行的家庭任务：条件自动化（“有人进入时开灯”）、定时提醒（“每天提醒我吃药”）、习惯追踪（“每天锻炼半小时”）等。触发后，Agent理解意图并自主执行。
• 主动智能 — 基于通用常识、身份识别、家庭记忆和家庭任务四大基础能力，系统像一位具备常识、了解家人、能够提前规划的管家一样，在恰当的时机观察、推理并介入，在用户开口之前完成任务。
• 家庭仪表盘 — 面向用户的Web仪表盘，用于查看家庭实时概览、米家设备、家庭成员及资料，以及过往事件历史。

[!TIP] 培养你自己的Miloco。 其开箱即用的行为可能并不总是符合你的喜好——只需通过***告诉Miloco（例如“家里乱的时候不要提醒我”），它会记住你的偏好并调整主动行为。每一次反馈都在“培养”一个适应你家的Miloco，相处越久，它越了解你。

Prerequisites

• 硬件：推荐≥4GB内存和≥256GB存储，需24/7运行。推荐使用Mac mini。
• 操作系统：macOS / Linux（Windows下需在WSL中运行）。
• 小米账号 + 已添加至米家的设备。
• 多模态大模型API密钥 — 推荐小米MiMo：感知功能使用MiMo-v2.5，Agent使用MiMo-v2.5-pro（在***中配置）。

[!CAUTION] 成本说明：Miloco 2.0的感知和Agent主要依赖云端大模型，会产生持续的API使用成本——请注意用量。你可以在家庭仪表盘的“模型”页面查看令牌消耗。

Install

选项1：通过Agent安装（推荐）

向***发送以下指令以自动完成安装：

Please install the Miloco plugin for me: https://raw.githubusercontent.com/XiaoMi/xiaomi-miloco/main/scripts/install-guide.md

选项2：单行命令行安装

curl -LsSf https://github.com/XiaoMi/xiaomi-miloco/releases/latest/download/install.sh | bash

选项3：从源码构建

从项目根目录运行：

bash scripts/install.sh --dev # build from source (scripts/build.sh), then install locally

---

Windows（WSL）

无论选择上述哪种方法，均不支持原生Windows——请在WSL中安装并运行所有内容。

[!IMPORTANT] 本地摄像头流需要额外的WSL网络设置。仪表盘的“家中实时情况”视图通过局域网拉取摄像头流，而WSL的默认NAT模式会阻止摄像头发送的UDP数据包——因此，在启用镜像网络并允许Hyper-V防火墙之前，视频流无法加载。

1. 在Windows上 — 将以下内容添加到%USERPROFILE%\.wslconfig（即C:\Users\<你的用户名>\.wslconfig；若文件不存在则创建），然后在PowerShell中运行wsl --shutdown重启WSL：

[wsl2]
networkingMode=mirrored

2. 在Windows上（管理员PowerShell） — 允许入站流量到WSL：

Set-NetFirewallHyperVVMSetting -Name '{40E0AC32-46A5-438A-A0B2-2B479E8F2E90}' -DefaultInboundAction Allow

3. 在WSL中 — 安装Miloco后，使用miloco-cli doctor验证（它会检查防火墙和WSL网络）。

快速开始

安装完成后，重启***网关以使插件生效：

openclaw gateway restart

然后打开主页仪表盘完成初始设置：

miloco-cli dashboard # 在浏览器中打开主页仪表盘（或直接访问 http:// :1810/）

通过仪表盘三步开始使用：

1. 配置模型 — 在“模型”页面，输入您的MiMo api_key（若安装过程中已填写则跳过）。模型名称和Base URL默认值为MiMo，无需修改。
2. 绑定小米账号 — 绑定后将自动拉取米家设备。
3. 启用摄像头感知 — 在“概览”页面，打开需要感知的摄像头开关（其余摄像头保持关闭状态且不进行分析）。

您也可以通过命令行执行这些操作：

miloco-cli config set model.omni.api_key sk-xxx # 配置模型密钥（默认使用MiMo；通常只需配置此项）
miloco-cli account bind # 绑定小米账号
miloco-cli scope camera enable # 为特定摄像头启用感知功能

运行后，请参阅用户手册了解Miloco的日常使用方法。

项目结构

miloco-plugin/
├── backend/ # uv工作区
│ ├── miloco/ # 主服务：感知引擎、规则、MIoT网关
│ └── miot/ # MIoT SDK（独立子包）
├── cli/ # miloco-cli命令行工具
├── plugins/
│ ├── openclaw/ # OpenClaw插件（TypeScript）
│ └── skills/ # 智能体技能文档
├── web/ # 主页仪表盘（React 19 + Vite）
├── scripts/ # build.sh / install.sh / manifest.json
└── knowledge/ # 项目知识库

更多文档

• 后端服务 — FastAPI + 感知引擎 + 规则 + MIoT网关
• 命令行工具miloco-cli — 服务、设备和配置管理
• 主页仪表盘Web端 — 部署架构和本地开发
• 完整知识库 — 架构/模块/功能/API快速参考

社区

遇到问题、想要提供反馈或交流使用场景？扫描***加入我们的飞书用户群（***永久有效）：

致谢

Miloco的开发得益于以下开源项目：

• [***] — AI智能体运行时和插件平台
• https://github.com/samirkumardas/jmuxer%EF%BC%88MIT%E8%AE%B8%E5%8F%AF%E8%AF%81%EF%BC%89%E2%80%94 主页仪表盘实时视频流复用
• [***] 文本嵌入模型
• https://github.com/snakers4/silero-vad%EF%BC%88Silero%E5%9B%A2%E9%98%9F%EF%BC%8CMIT%E8%AE%B8%E5%8F%AF%E8%AF%81%EF%BC%89%E2%80%94 语音活动检测，用于控制感知语音范围

许可证

完整许可证条款请参见LICENSE.md。

[!IMPORTANT] 本项目仅用于非商业用途。未经小米公司书面授权，不得用于开发应用程序（apps）、网络服务或其他形式的软件。