ghcr.io/ten-framework/ten_agent_playground:latest

[官方网站][official-site] • [文档][documentation] • [博客][blog]

目录

• [欢迎使用 TEN][welcome-to-ten]
• [智能体示例][agent-examples-section]
• [智能体示例快速入门][quick-start]
• [本地主机][localhost-section]
• [Codespaces][codespaces-section]
• [智能体示例自托管][agent-examples-self-hosting]
• [使用 Docker 部署][deploying-with-docker]
• [使用其他云服务部署][deploying-with-other-cloud-services]
• [敬请关注][stay-tuned]
• [TEN 生态系统][ten-ecosystem-anchor]
• [问题][questions]
• [贡献][contributing]
• [代码贡献者][code-contributors]
• [贡献指南][contribution-guidelines]
• [许可证][license-section]

欢迎使用 TEN

TEN 是一个用于实时多模态对话式 AI 的开源框架。

[TEN 生态系统][ten-ecosystem-anchor] 包括 [TEN 框架][ten-framework]、[智能体示例][agent-examples-repo]、[VAD][ten-vad]、[话轮检测][ten-turn-detection] 和 [门户][ten-portal]。

智能体示例

多用途语音助手 — 这款低延迟、高质量的实时助手支持 RTC 和 WebSocket 连接，您可以通过 内存、VAD、话轮检测 和其他扩展对其进行扩展。

有关更多详细信息，请参见 示例代码。

涂鸦画板（Doodler）— 一个涂鸦板，可将口头或书面提示转换为简单的手绘草图，并配有蜡笔调色板和实时绘图功能。

示例代码

说话人分离（Speaker Diarization）— 实时分离功能可检测并标记说话人，“谁喜欢什么”游戏展示了一个交互式用例。

示例代码

唇形同步虚拟形象（Lip Sync Avatars）— 支持多个虚拟形象供应商，主角是 Kei（一个具有 MotionSync 驱动唇形同步的动漫角色），还支持来自 Trulience、HeyGen 和 Tavus 的写实虚拟形象。

有关不同 Live2D 角色的信息，请参见 示例代码。

SIP 通话 — 启用由 TEN 驱动的电话呼叫的 SIP 扩展。

示例代码

转录（Transcription）— 将音频转录为文本的转录工具。

示例代码

ESP32-S3 Korvo V3 — 在乐鑫 ESP32-S3 Korvo V3 开发板上运行 TEN 智能体示例，以将 LLM 驱动的通信与硬件集成。

有关更多详细信息，请参见 集成指南。

智能体示例快速入门

本地主机

步骤 ⓵ - 前提条件

步骤 ⓶ - 在虚拟机中构建智能体示例

1. 克隆仓库，cd 进入 ai_agents 目录，并从 .env.example 创建 .env 文件

cd ai_agents
cp ./.env.example ./.env

2. 在 .env 中设置 Agora 应用 ID 和应用证书

AGORA_APP_ID=
AGORA_APP_CERTIFICATE=

# Deepgram（语音转文本必需）
DEEPGRAM_API_KEY=

# OpenAI（语言模型必需）
OPENAI_API_KEY=

# ElevenLabs（文本转语音必需）
ELEVENLABS_TTS_KEY=

3. 启动智能体开发容器

docker compose up -d

4. 进入容器

docker exec -it ten_agent_dev bash

5. 使用默认示例构建智能体（约 5-8 分钟）

查看 agents/examples 文件夹获取其他样本。从以下默认示例之一开始：

# 使用链式语音助手
cd agents/examples/voice-assistant

# 或使用实时语音转语音助手
cd agents/examples/voice-assistant-realtime

6. 启动 Web 服务器

如果更改了任何本地源代码，请运行 task build。此步骤对于编译型语言（例如 TypeScript 或 Go）是必需的，对于 Python 则不需要。

task install
task run

7. 访问智能体

智能体示例运行后，您可以访问以下界面：

• TMAN 设计器：localhost:49483
• 智能体示例 UI：localhost:3000

步骤 ⓷ - 自定义智能体示例

1. 打开 localhost:49483。
2. 右键单击 STT、LLM 和 TTS 扩展。
3. 打开它们的属性并输入相应的 API 密钥。
4. 提交更改，现在您可以在 localhost:3000 中看到更新后的智能体示例。

从 TEN Manager 运行转录应用（无需 Docker，测试版）

TEN 还提供了一个转录应用，您可以从 TEN Manager 运行而无需使用 Docker。

有关更多详细信息，请查看 快速入门指南。

Codespaces

GitHub 为每个仓库提供免费的 Codespaces。您可以在 Codespaces 中运行智能体示例，无需使用 Docker。Codespaces 通常比本地 Docker 环境启动更快。

有关更多详细信息，请查看 本指南。

敬请关注

获取新版本和更新的即时通知。您的支持帮助我们发展和改进TEN！

TEN生态系统