ghcr.io/ten-framework/ten_agent_demo:latest

官方网站 • 文档 • 博客

目录

• 欢迎使用TEN
• 智能体示例
• 智能体示例快速入门
• 本地主机
• Codespaces
• 智能体示例自托管
• 使用Docker部署
• 使用其他云服务部署
• 敬请关注
• TEN生态系统
• 问题
• 贡献
• 代码贡献者
• 贡献指南
• 许可证

欢迎使用TEN

TEN是一个用于实时多模态对话AI的开源框架。

TEN生态系统包括https://github.com/ten-framework/ten-framework、https://github.com/TEN-framework/ten-framework/tree/main/ai_agents/agents/examples、https://github.com/ten-framework/ten-vad、https://github.com/ten-framework/ten-turn-detection和https://github.com/ten-framework/portal。

智能体示例

多用途语音助手 — 这款低延迟、高质量的实时助手支持RTC和WebSocket连接，您可以通过记忆、VAD、话轮检测及其他扩展对其进行功能扩展。

更多详情请参见示例代码。

涂鸦画板（Doodler）— 一个将语音或文字提示转换为简单手绘草图的画板，配有蜡笔调色板和实时绘制功能。

示例代码

说话人分离（Speaker Diarization）— 实时分离并标记说话人的技术，"谁喜欢什么"游戏展示了其交互式用例。

示例代码

唇形同步虚拟形象（Lip Sync Avatars）— 支持多个虚拟形象供应商，主角是Kei（一个采用MotionSync技术实现唇形同步的动漫角色），同时支持Trulience、HeyGen和Tavus的写实虚拟形象。

不同Live2D角色的示例代码参见此处。

SIP呼叫 — 使TEN支持电话呼叫的SIP扩展。

示例代码

转录（Transcription）— 将音频转录为文本的工具。

示例代码

ESP32-S3 Korvo V3 — 在乐鑫ESP32-S3 Korvo V3开发板上运行TEN智能体示例，实现LLM驱动的通信与硬件集成。

更多详情请参见集成指南。

智能体示例快速入门

本地主机

步骤 ⓵ - 前提条件

步骤 ⓶ - 在虚拟机中构建智能体示例

1. 克隆仓库，cd进入ai_agents目录，并从.env.example创建.env文件

cd ai_agents
cp ./.env.example ./.env

2. 在.env中设置Agora App ID和App Certificate

AGORA_APP_ID=
AGORA_APP_CERTIFICATE=

# Deepgram（语音转文本必需）
DEEPGRAM_API_KEY=

# OpenAI（语言模型必需）
OPENAI_API_KEY=

# ElevenLabs（文本转语音必需）
ELEVENLABS_TTS_KEY=

3. 启动智能体开发容器

docker compose up -d

4. 进入容器

docker exec -it ten_agent_dev bash

5. 使用默认示例构建智能体（约5-8分钟）

查看agents/examples文件夹获取其他样本。从以下默认示例开始：

# 使用链式语音助手
cd agents/examples/voice-assistant

# 或使用实时语音转语音助手
cd agents/examples/voice-assistant-realtime

6. 启动Web服务器

如果更改了任何本地源代码，请运行task build。此步骤对编译型语言（如TypeScript或Go）是必需的，对Python则不需要。

task install
task run

7. 访问智能体

智能体示例运行后，您可以访问以下界面：

• TMAN设计器：localhost:49483
• 智能体示例UI：localhost:3000

步骤 ⓷ - 自定义智能体示例

1. 打开localhost:49483。
2. 右键点击STT、LLM和TTS扩展。
3. 打开其属性并输入相应的API密钥。
4. 提交更改，现在您可以在localhost:3000中看到更新后的智能体示例。

在不使用Docker的情况下从TEN Manager运行转录应用（测试版）

TEN还提供了一个转录应用，您可以从TEN Manager运行而无需使用Docker。

更多详情请参见快速入门指南。

Codespaces

GitHub为每个仓库提供免费的Codespaces。您可以在Codespaces中运行智能体示例，无需使用Docker。Codespaces通常比本地Docker环境启动更快。

更多详情请参见此指南。

通过此设置，后端处理长时间运行的工作进程，而托管的前端仅将API流量转发给它。

敬请关注

获取新版本和更新的即时通知。您的支持帮助我们发展和改进TEN！

TEN生态系统

问题解答

TEN Framework在这些AI驱动的问答平台上可用。它们可以帮助您快速准确地找到多语言答案，涵盖从基本设置到高级实现细节的所有内容。

贡献指南

我们欢迎各种形式的开源协作！无论您是修复错误、添加功能、改进文档还是分享想法，您的贡献都有助于推进个性化AI工具的发展。查看我们的GitHub Issues和Projects，找到贡献方式并展示您的技能。让我们一起构建令人惊叹的作品！

[!TIP]

欢迎各种贡献 🙏

加入我们，共同打造更好的TEN！从代码到文档，每一份贡献都意义非凡。在社交媒体上分享您的TEN Agent项目，激励他人！

可通过𝕏上的TEN维护者@elliotchen200或GitHub上的https://github.com/cyfyifanchen获取项目更新、参与讨论和协作机会。

代码贡献者

贡献指南

欢迎贡献！请先阅读contribution guidelines。

许可证

1. 整个TEN框架（除下面明确列出的文件夹外）根据Apache License, Version 2.0发布，并附加限制条件。有关详情，请参阅TEN框架根目录下的LICENSE文件。

2. packages目录中的组件根据Apache License, Version 2.0发布。有关详情，请参阅每个包根目录下的LICENSE文件。

3. TEN框架使用的第三方库已详细列出和描述。有关更多信息，请参阅third_party文件夹。