镜像概述和主要用途
基于CLIP的多模态嵌入服务微服务通过OpenAI兼容API暴露CLIP的能力,实现多模态理解与应用的无缝集成。该微服务接受视频、图像和文本作为输入,返回捕获其语义内容的高维嵌入向量(位于共享空间中),使开发者能够轻松构建跨模态检索、视觉搜索和内容推荐等功能。
核心功能和特性
- CLIP模型支持:基于CLIP(Contrastive Language-Image Pretraining)模型实现多模态语义理解
- OpenAI兼容API:提供符合OpenAI规范的接口,便于现有应用集成
- 多模态输入:支持视频、图像和文本三种类型的输入数据
- 高维语义嵌入:生成捕获内容语义特征的高维向量,支持跨模态比较
- 性能优化:支持批处理,提升处理效率
- 部署灵活性:适配云环境和边缘环境部署
- 简化模型管理:抽象模型管理和推理复杂性,降低AI技术应用门槛
使用场景和适用范围
- 跨模态检索:实现文本检索图像/视频、图像检索文本/视频等跨模态内容查找
- 视觉搜索:基于图像内容快速搜索相似图像或相关内容
- 内容推荐:根据用户输入的文本或视觉内容推荐相似或相关内容
- 开发者集成:帮助开发者无需深入AI模型细节即可集成高级视觉-语言AI能力
- 多环境部署:适用于云服务器、边缘设备等多种部署环境
部署方法
使用Docker Compose部署
有关部署的更多详细信息,请参考https://github.com/open-edge-platform/edge-ai-libraries/blob/main/microservices/multimodal-embedding-serving/docs/user-guide/get-started.md%E3%80%82
支持版本
- https://github.com/open-edge-platform/edge-ai-libraries/blob/main/sample-applications/video-search-and-summarization/docs/user-guide/release-notes.md#current-release
- https://github.com/open-edge-platform/edge-ai-libraries/blob/main/sample-applications/video-search-and-summarization/docs/user-guide/release-notes.md#current-release
- https://github.com/open-edge-platform/edge-ai-libraries/blob/main/sample-applications/video-search-and-summarization/docs/user-guide/release-notes.md#current-release
- https://github.com/open-edge-platform/edge-ai-libraries/blob/main/sample-applications/video-search-and-summarization/docs/user-guide/release-notes.md#current-release
- https://github.com/open-edge-platform/edge-ai-libraries/blob/main/sample-applications/video-search-and-summarization/docs/user-guide/release-notes.md#current-release
- https://github.com/open-edge-platform/edge-ai-libraries/blob/main/sample-applications/video-search-and-summarization/docs/user-guide/release-notes.md#previous-releases
- https://github.com/open-edge-platform/edge-ai-libraries/blob/main/sample-applications/video-search-and-summarization/docs/user-guide/release-notes.md#previous-releases
许可证协议
Copyright (C) 2025 Intel Corporation.
根据Apache License 2.0("许可证")授权;除非符合许可证的规定,否则不得使用此文件。您可以在以下地址获取许可证副本:http://www.apache.org/licenses/LICENSE-2.0
***信息
Intel、Intel标志和Xeon是Intel Corporation在美国和/或其他国家的商标。
*其他名称和品牌可能是其他方的财产。