savatar101/omniparse

OmniParse

!https://raw.githubusercontent.com/adithya-s-k/omniparse/main/docs/assets/hero_image.png

OmniParse是一个数据解析平台，可将任何非结构化数据提取/解析为结构化、可操作的数据，优化用于GenAI（大语言模型）应用。无论是处理文档、表格、图像、视频、音频文件还是网页，OmniParse都能将数据处理为干净、结构化的格式，为RAG、微调等AI应用做好准备。

试用

![在Colab中打开]([***]

核心功能与特性

✅ 完全本地运行，无需外部API
✅ 可在T4 GPU上运行
✅ 支持10+文件类型
✅ 将文档、多媒体和网页转换为高质量结构化Markdown
✅ 表格提取、图像提取/ captioning、音视频转录、网页爬取
✅ 易于通过Docker和Skypilot部署
✅ 兼容Colab

问题背景

数据以各种形式和格式存在，处理难度大。OmniParse旨在成为一个数据提取/解析平台，可摄入任何类型的数据（如文档、图像、音频、视频和网页内容），并输出结构化、可操作且对GenAI（大语言模型）友好的结果。

安装

注意：服务器仅在基于Linux的系统上运行。这是由于某些依赖项和系统特定配置与Windows或macOS不兼容。

🛳️ Docker部署

使用Docker运行OmniParse，请执行以下命令：

1. 从Docker Hub拉取OmniParse API镜像：
2. 运行Docker容器，暴露8000端口： 👉🏼https://hub.docker.com/r/savatar101/omniparse

bash
docker pull savatar101/omniparse:0.1
# 若使用GPU
docker run --gpus all -p 8000:8000 savatar101/omniparse:0.1
# 若使用CPU
docker run -p 8000:8000 savatar101/omniparse:0.1

或者，若倾向于本地构建Docker镜像：

bash
docker build -t omniparse .
# 若使用GPU
docker run --gpus all -p 8000:8000 omniparse
# 若使用CPU
docker run -p 8000:8000 omniparse

使用方法

运行服务器

bash
python server.py --host 0.0.0.0 --port 8000 --documents --media --web

参数说明：

• --documents: 加载用于解析文档的所有模型（Surya OCR系列模型和Florence-2）
• --media: 加载Whisper模型以转录音频和视频文件
• --web: 设置selenium爬虫

启动API服务器

bash
python main.py --host 0.0.0.0 --port 8000

参数：

• --host: 主机IP地址（默认：0.0.0.0）
• --port: 端口号（默认：8000）

支持的数据类型

bash
curl -X POST -F "file=@/path/to/document" http://localhost:8000/parse_document

bash
curl -X POST -F "file=@/path/to/document.pdf" http://localhost:8000/parse_document/pdf

bash
curl -X POST -F "file=@/path/to/presentation.ppt" http://localhost:8000/parse_document/ppt

bash
curl -X POST -F "file=@/path/to/document.docx" http://localhost:8000/parse_document/docs

bash
curl -X POST -F "file=@/path/to/image.jpg" http://localhost:8000/parse_media/image

bash
curl -X POST -F "image=@/path/to/image.jpg" -F "task=Caption" -F "prompt=可选提示词" http://localhost:8000/parse_media/process_image

bash
curl -X POST -F "file=@/path/to/video.mp4" http://localhost:8000/parse_media/video

bash
curl -X POST -F "file=@/path/to/audio.mp3" http://localhost:8000/parse_media/audio

bash
curl -X POST -H "Content-Type: application/json" -d '{"url": "https://example.com"}' http://localhost:8000/parse_website

未来计划/路线图

🦙 即将支持LlamaIndex | Langchain | Haystack集成
📚 批量处理数据
⭐ 基于指定模式的动态分块和结构化数据提取
🛠️ 万能API：只需输入文件和需求，其余自动处理
🔧 动态模型选择和外部API支持
📄 批量处理多个文件
📦 新开源模型替代Surya OCR和Marker

最终目标：用单一多模态模型替代当前使用的各种模型，解析任何类型的数据并获取所需结果。

许可证

OmniParse采用GPL-3.0许可证。详见LICENSE文件。

致谢

本项目基于Vik Paruchuri创建的杰出项目https://github.com/VikParuchuri/marker%E5%BC%80%E5%8F%91%E3%80%82%E6%84%9F%E8%B0%A2%E8%AF%A5%E9%A1%B9%E7%9B%AE%E6%8F%90%E4%BE%9B%E7%9A%84%E7%81%B5%E6%84%9F%E5%92%8C%E5%9F%BA%E7%A1%80%E3%80%82%E7%89%B9%E5%88%AB%E6%84%9F%E8%B0%A2https://github.com/VikParuchuri/surya%E5%92%8Chttps://github.com/VikParuchuri/texify%E6%8F%90%E4%BE%9B%E7%9A%84OCR%E6%A8%A1%E5%9E%8B%EF%BC%8C%E4%BB%A5%E5%8F%8Ahttps://github.com/unclecode/crawl4ai%E7%9A%84%E8%B4%A1%E7%8C%AE%E3%80%82

使用的模型：

• Surya OCR、Detect、Layout、Order和Texify
• Florence-2 base
• Whisper Small

感谢这些模型的作者。

联系方式