Skip to content

v2.9.0 启动 gemma4-31B 成功,但是传入图片解析异常 #4946

Description

@buctllx

System Info / 系統信息

Ubuntu 22.04.5 LTS
nvidia-smi
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 575.57.08 Driver Version: 575.57.08 CUDA Version: 12.9 |

Xinference:v2.9.0

Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece?

  • docker / docker
  • pip install / 通过 pip install 安装
  • installation from source / 从源码安装

Version info / 版本信息

Xinference:v2.9.0

The command used to start Xinference / 用以启动 xinference 的命令

docker run
-v /data1/xinference/.xinference:/root/.xinference
-v /data1/xinference/.cache/huggingface:/root/.cache/huggingface
-v /data1/xinference/.cache/modelscope:/root/.cache/modelscope
-v /data1/xinference/auth_config.json:/root/.cache/auth_config.json
-e XINFERENCE_MODEL_SRC=modelscope
-e TZ=Asia/Shanghai
-p 9997:9997
--gpus all
--name xinference-v2.9.0
xprobe/xinference:v2.9.0
xinference-local -H 0.0.0.0 --auth-config /root/.cache/auth_config.json --log-level debug

Reproduction / 复现过程

  1. docker 启动 xinference
  2. 登陆 UI,然后在页面启动 gemma4-31B 启动参数如下(可以成功启动);
Image Image
  1. 启动成功后打开自带的对话页面,上传图片,进行对话识别,得到回复大模型没有拿到图片(如下图)
Image

控制台相关日志如下:

2026-05-26 22:02:49,603 xinference.model.llm.vllm.core 15375 [local@0.0.0.0:64148] DEBUG Decoded base64 content to temp file: /tmp/tmpz9m1f84c.png
2026-05-26 22:02:49,604 xinference.model.llm.utils 15375 [local@0.0.0.0:64148] DEBUG Prompt: <|turn>system
<|think|>
<turn|>
<|turn>user
你好<turn|>
<|turn>model
你好!有什么我可以帮你的吗?<turn|>
<|turn>user
识别图片中的元素<|image|><turn|>
<|turn>model
您还没有上传图片。请发送您想要识别的图片,然后我会为您分析并列出其中的元素。

我可以帮您识别:

  1. 物体/物品(例如:家具、电子产品、植物等)
  2. 文字/语言(OCR 识别及翻译)
  3. 场景/环境(例如:办公室、森林、城市街道等)
  4. 人物动作或表情
  5. 图表/数据分析

期待您的图片!<turn|>


可以看到目前模型正常启动、对话流转通,但出现了图片解析异常:已解码出图片临时文件 /tmp/tmpz9m1f84c.png,模型却提示「未上传图片」。

Expected behavior / 期待表现

能够正常识别图片

Metadata

Metadata

Assignees

Labels

Type

No type

Fields

No fields configured for issues without a type.

Projects

No projects

Relationships

None yet

Development

No branches or pull requests

Issue actions