ai/gemma4-safetensors

Gemma 4 模型Docker镜像文档

镜像概述和主要用途

Gemma是Google DeepMind构建的开源模型系列。Gemma 4模型为多模态模型，支持文本和图像输入（E2B/E4B小模型额外支持音频）并生成文本输出，提供预训练和指令调优两种开源权重变体。该系列模型具备高达256K tokens的上下文窗口，支持140多种语言的多语言处理能力，采用密集型（Dense）和混合专家（MoE）架构，适用于文本生成、编码开发、逻辑推理等任务。其多样化尺寸（E2B、E4B、26B A4B、31B）可部署于高端手机、笔记本电脑及服务器等不同环境，推动先进AI技术的普及应用。

核心功能和特性

Gemma 4在能力与架构上实现关键突破：

• 强化推理能力：全系列模型均设计为高性能推理器，支持可配置的思维模式
• 扩展多模态支持：处理文本、图像（支持可变宽高比和分辨率）、视频，E2B/E4B模型原生支持音频
• 高效多样化架构：提供不同尺寸的密集型和混合专家（MoE）变体，满足可扩展部署需求
• 设备端优化设计：小模型针对笔记本电脑和移动设备的本地高效执行进行专门优化
• 超大上下文窗口：小模型支持128K tokens，中型模型支持256K tokens
• 增强编码与代理能力：编码基准测试性能显著提升，原生支持函数调用，赋能高性能自主代理
• 原生系统提示支持：引入对system角色的原生支持，实现更结构化、可控的对话流程

模型架构与参数

Gemma 4模型采用混合注意力机制（局部滑动窗口注意力与全局注意力交错，确保最后一层为全局注意力），结合统一键值设计和比例RoPE（p-RoPE）优化长上下文内存占用，在保持轻量级模型处理速度和低内存特性的同时，保障复杂长上下文任务所需的深度感知能力。

密集型模型参数

说明：E2B/E4B中的"E"代表"有效参数"，采用每层嵌入（PLE）技术，为每个解码器层提供独立token嵌入，在不增加模型层数的前提下提升参数效率，适用于设备端部署。

混合专家（MoE）模型参数

说明：26B A4B中的"A"代表"激活参数"，推理时仅激活3.8B参数子集，运行速度接近4B参数模型，兼顾性能与效率，适合快速推理场景。

基准测试性能

以下为指令调优模型在各类任务中的评估结果：

核心能力

Gemma 4模型具备多模态处理能力，可应对以下关键任务：

• 思维推理：内置逐步推理模式，支持复杂问题求解
• 长上下文处理：最大256K tokens上下文窗口，支持超长文本理解
• 图像理解：实现对象检测、文档解析（PDF）、UI理解、图表分析、多语言OCR、手写识别等功能，支持可变分辨率与宽高比
• 视频理解：通过帧序列分析实现视频内容理解
• 多模态输入交错：支持在单个提示中自由混合文本与图像
• 函数调用：原生支持结构化工具调用，赋能代理工作流
• 代码能力：代码生成、补全与纠错
• 多语言支持：原生支持35+种语言，预训练覆盖140+种语言
• 音频处理（仅限E2B/E4B）：多语言自动语音识别（ASR）与语音翻译

Docker部署指南

镜像拉取

bash
docker pull docker.xuanyuan.run/google/gemma4:latest

基础运行命令

bash
# 运行E4B模型（GPU加速）
docker run -it --gpus all -p 8080:8080 docker.xuanyuan.run/google/gemma4:latest \
  --model-size e4b \
  --context-length 128000 \
  --temperature 1.0 \
  --top-p 0.95 \
  --top-k 64

docker-compose配置示例

yaml
version: '3.8'
services:
  gemma4:
    image: docker.xuanyuan.run/google/gemma4:latest
    container_name: gemma4-service
    ports:
      - "8080:8080"
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    environment:
      - MODEL_SIZE=e4b
      - CONTEXT_LENGTH=128000
      - TEMPERATURE=1.0
      - TOP_P=0.95
      - TOP_K=64
    volumes:
      - ./data:/app/data  # 挂载数据持久化目录

使用最佳实践

1. 采样参数配置

推荐标准化采样参数：

• temperature=1.0（控制随机性）
• top_p=0.95（核采样）
• top_k=64（Top-K采样）

2. 思维模式控制

• 启用思维：在系统提示开头添加<|think|>令牌
• 思维生成格式：启用时模型输出结构为：
  <|channel>thoughtn[内部推理内容]<channel|>
• 禁用思维：移除<|think|>令牌，非E2B/E4B模型将生成空思维块：
  <|channel>thoughtn<channel|>[最终答案]

注意：Transformers、llama.cpp等库已集成聊天模板处理，无需手动管理令牌

3. 多轮对话管理

历史对话记录中仅保留最终响应，不得包含模型的内部推理内容。

4. 多模态输入优化

多模态提示中，建议将图像/音频内容置于文本内容之前，以获得最佳处理效果。

5. 图像分辨率配置

通过视觉令牌预算控制图像细节与推理速度，支持值：70/140/280/560/1120

• 低预算（70/140）：适用于分类、Captioning、视频处理等对速度要求高的场景
• 高预算（560/1120）：适用于OCR、文档解析、小文本识别等需细节的场景

6. 音频处理提示模板

语音识别（ASR）：

text
Transcribe the following speech segment in {LANGUAGE} into {LANGUAGE} text.
Follow these specific instructions for formatting the answer:
* Only output the transcription, with no newlines.
* When transcribing numbers, write the digits, i.e. write 1.7 and not one point seven, and write 3 instead of three.

语音翻译（AST）：

text
Transcribe the following speech segment in {SOURCE_LANGUAGE}, then translate it into {TARGET_LANGUAGE}.
When formatting the answer, first output the transcription in {SOURCE_LANGUAGE}, then one newline, then output the string '{TARGET_LANGUAGE}: ', then the translation in {TARGET_LANGUAGE}.

7. 媒体长度限制

• 音频：最大支持30秒
• 视频：按每秒1帧处理，最大支持60秒

适用场景

内容创作与通信

• 文本生成：创意内容（诗歌、脚本）、代码、营销文案、邮件草稿
• 对话AI：客服聊天机器人、虚拟助手
• 文本摘要：长文档、研究论文摘要生成
• 图像数据提取：视觉信息转文本
• 音频交互：语音识别、语音翻译（E2B/E4B）

研究与教育

• NLP/VLM研究：模型微调、算法开发
• 语言学习：语法纠正、写作练习
• 知识探索：文献分析、主题问答

限制说明

• 训练数据影响：数据质量与多样性决定模型能力，可能存在偏见或知识缺口
• 任务复杂度：开放式或高度复杂任务表现可能受限，清晰提示可提升效果
• 语言理解局限：对歧义、讽刺、比喻等语言细微差别理解能力有限
• 事实准确性：非知识库，可能生成过时或错误信息
• 常识推理：依赖统计模式，部分场景缺乏常识判断能力

伦理与安全

Gemma 4经过与Google Gemini模型同等严格的安全评估，符合Google AI原则，针对以下风险进行控制：

• 儿童性虐待材料与剥削内容
• 危险内容（自残、伤害指导）
• 性 explicit内容
• 仇恨言论与骚扰内容

评估结果显示，Gemma 4在内容安全各维度显著优于前代模型，同时保持低不合理拒绝率，所有测试均在无安全过滤器条件下进行，验证了模型原生安全能力。

模型数据说明

训练数据集

包含网络文档（140+语言）、代码、数学文本、图像、音频等多模态数据，截止日期2025年1月，确保模型接触广泛领域知识。

数据预处理

• CSAM过滤：多阶段严格过滤有害内容
• 敏感数据过滤：自动化技术移除个人信息
• 质量安全过滤：遵循Google内容政策进行内容筛选

伦理考量

• 偏差缓解：通过数据预处理和评估减少社会文化偏差影响
• 滥用防范：提供负责任使用指南（参见https://ai.google.dev/responsible）
• 透明度：公开模型架构、能力与限制信息
• 隐私保护：训练数据过滤个人敏感信息，建议部署时采用隐私保护技术

Gemma 4系列模型在提供高性能多模态能力的同时，致力于推动负责任的AI开发与应用，为开发者和研究人员提供安全可靠的开源模型基础。