ai/medgemma

MedGemma镜像说明

镜像概述

MedGemma是Google基于Gemma 3开发的AI模型集合，针对场景下的文本与图像理解任务优化，旨在帮助开发者快速构建***健康领域AI应用。目前提供三种核心变体：4B参数多模态版本（含预训练与指令微调）、27B参数文本仅版本、27B参数多模态版本（均为指令微调）。

核心功能

1. 多模态处理：支持文本与图像输入（如胸部X光片、皮肤病变图像、病理切片等），输出***相关文本结果。
2. 数据训练：基于去标识化数据训练，涵盖放射影像、电子健康记录（EHR）、病理图像等多类***数据源。
3. 长上下文支持：最大可处理128K tokens输入，满足长文本***报告或记录分析需求。
4. 多样化任务**：适用于**报告生成、视觉问答（VQA）、电子健康记录分析、辅助诊断支持等场景。

使用场景

• 放射科图像分析（如胸部X光片自动描述生成）
• 皮肤科病变识别与辅助诊断建议
• ***电子记录（EHR）的问答与信息提取
• ***健康AI应用开发（如临床决策支持工具）

配置说明

依赖安装

需安装Transformers库（版本4.50.0及以上）：

bash
pip install -U transformers

快速使用示例

1. 使用Pipeline API

python
from docker.xuanyuan.run/transformers import pipeline
from docker.xuanyuan.run/PIL import Image
import requests
import torch

# 初始化Pipeline
pipe = pipeline(
    "image-text-to-text",
    model="google/medgemma-4b-it",
    torch_dtype=torch.bfloat16,
    device="cuda",
)

# 加载示例X光图像
image_url = "https://upload.wikimedia.org/wikipedia/commons/c/c8/Chest_Xray_PA_3-8-2010.png"
image = Image.open(requests.get(image_url, headers={"User-Agent": "example"}, stream=True).raw)

# 构建对话提示
messages = [
    {"role": "system", "content": [{"type": "text", "text": "你是专业放射科医生，需准确描述X光片内容"}]},
    {"role": "user", "content": [{"type": "text", "text": "描述这张X光片"}, {"type": "image", "image": image}]}
]

# 生成结果
output = pipe(text=messages, max_new_tokens=200)
print(output[0]["generated_text"][-1]["content"])

2. 直接调用模型

python
from docker.xuanyuan.run/transformers import AutoProcessor, AutoModelForImageTextToText
from docker.xuanyuan.run/PIL import Image
import requests
import torch

model_id = "google/medgemma-4b-it"

# 加载模型与处理器
model = AutoModelForImageTextToText.from_pretrained(
    model_id, torch_dtype=torch.bfloat16, device_map="auto"
)
processor = AutoProcessor.from_pretrained(model_id)

# 加载示例图像
image_url = "https://upload.wikimedia.org/wikipedia/commons/c/c8/Chest_Xray_PA_3-8-2010.png"
image = Image.open(requests.get(image_url, headers={"User-Agent": "example"}, stream=True).raw)

# 构建输入
messages = [
    {"role": "system", "content": [{"type": "text", "text": "你是专业放射科医生，需准确描述X光片内容"}]},
    {"role": "user", "content": [{"type": "text", "text": "描述这张X光片"}, {"type": "image", "image": image}]}
]

inputs = processor.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt"
).to(model.device, dtype=torch.bfloat16)

# 生成结果
with torch.inference_mode():
    generation = model.generate(**inputs, max_new_tokens=200, do_sample=False)
    decoded = processor.decode(generation[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True)
print(decoded)

Docker部署示例

bash
# 拉取镜像
docker pull docker.xuanyuan.run/ai/medgemma:latest

# 运行镜像（需GPU支持）
docker run -it --gpus all docker.xuanyuan.run/ai/medgemma:latest