aistaging/translategemma-vllm

TranslateGemma模型镜像说明

镜像概述

TranslateGemma是Google开发的轻量级开源翻译模型系列，基于Gemma 3架构，支持55种语言的翻译任务。其小巧的模型尺寸使其可部署在笔记本、台式机等资源有限环境或自有云基础设施中，降低了先进翻译技术的使用门槛。

核心功能

• 多语言支持: 覆盖55种语言的互译能力。
• 多模态输入: 接受文本字符串或896×896分辨率的图像输入（图像需编码为256 tokens）。
• 灵活部署: 适配vllm推理加速，可在本地或云环境快速启动服务。

使用场景

• 文本内容跨语言翻译（如文档、网页）。
• 图像中的文字提取与翻译（如照片、扫描件）。
• 本地化应用的翻译模块集成。
• 离线环境下的轻量级翻译服务。

配置说明

输入规范

• 文本输入: 需包含源语言代码（ISO 639-1或区域化变体，如en-US）、目标语言代码及待翻译文本。
• 图像输入: 需提供图像URL（或本地路径）、源语言代码及目标语言代码。
• 上下文限制: 总输入上下文不超过2K tokens。

部署示例

Docker Run命令

bash
docker run -d -p 8000:8000 docker.xuanyuan.run/aistaging/translategemma-vllm \
  --model google/translategemma-4b \
  --trust-remote-code \
  --max-model-len 2048

API调用示例（本地部署）

向http://localhost:8000/v1/chat/completions发送POST请求：

json
{
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "source_lang_code": "en",
          "target_lang_code": "zh",
          "text": "Welcome to TranslateGemma!"
        }
      ]
    }
  ]
}

模型细节

训练数据

基于Gemma 3 checkpoint微调，使用43亿tokens的监督微调数据和1020万tokens的强化学习数据，来源包括Gemini生成的高质量翻译文本及公开平行文档。

技术栈

• 硬件: TPUv4p/TPUv5p/TPUv5e（适合大规模矩阵运算）。
• 软件: JAX框架+ML Pathways架构，支持高效分布式训练。

评估表现

在WMT24++、WMT25等基准测试中表现优异：

• 27B模型在WMT24++的MetricX得分为3.09（越低越好），Comet得分为84.4（越高越好）。
• 在图像文本翻译任务（Vistra数据集）中，27B模型的MetricX得分为1.57。

伦理与安全

模型经过多维度安全评估（儿童安全、内容安全、代表性伤害等），相比前代Gemma模型有显著改进。用户需遵循https://ai.google.dev/gemma/terms及https://ai.google.dev/gemma/prohibited_use_policy。

使用限制

• 训练数据可能存在偏差，影响输出公正性。
• 对复杂上下文、语言歧义或常识推理的处理能力有限。
• 生成内容的事实准确性需人工验证，非权威知识库。
• 不支持超出翻译任务的其他功能（如对话生成）。