System Info / 系統信息
Ubuntu 22.04.5 LTS
nvidia-smi
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 575.57.08 Driver Version: 575.57.08 CUDA Version: 12.9 |
Xinference:v2.9.0
Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece?
Version info / 版本信息
Xinference:v2.9.0
The command used to start Xinference / 用以启动 xinference 的命令
docker run
-v /data1/xinference/.xinference:/root/.xinference
-v /data1/xinference/.cache/huggingface:/root/.cache/huggingface
-v /data1/xinference/.cache/modelscope:/root/.cache/modelscope
-v /data1/xinference/auth_config.json:/root/.cache/auth_config.json
-e XINFERENCE_MODEL_SRC=modelscope
-e TZ=Asia/Shanghai
-p 9997:9997
--gpus all
--name xinference-v2.9.0
xprobe/xinference:v2.9.0
xinference-local -H 0.0.0.0 --auth-config /root/.cache/auth_config.json --log-level debug
Reproduction / 复现过程
- docker 启动 xinference
- 登陆 UI,然后在页面启动 gemma4-31B 启动参数如下(可以成功启动);
- 启动成功后打开自带的对话页面,上传图片,进行对话识别,得到回复大模型没有拿到图片(如下图)
控制台相关日志如下:
2026-05-26 22:02:49,603 xinference.model.llm.vllm.core 15375 [local@0.0.0.0:64148] DEBUG Decoded base64 content to temp file: /tmp/tmpz9m1f84c.png
2026-05-26 22:02:49,604 xinference.model.llm.utils 15375 [local@0.0.0.0:64148] DEBUG Prompt: <|turn>system
<|think|>
<turn|>
<|turn>user
你好<turn|>
<|turn>model
你好!有什么我可以帮你的吗?<turn|>
<|turn>user
识别图片中的元素<|image|><turn|>
<|turn>model
您还没有上传图片。请发送您想要识别的图片,然后我会为您分析并列出其中的元素。
我可以帮您识别:
- 物体/物品(例如:家具、电子产品、植物等)
- 文字/语言(OCR 识别及翻译)
- 场景/环境(例如:办公室、森林、城市街道等)
- 人物动作或表情
- 图表/数据分析
期待您的图片!<turn|>
可以看到目前模型正常启动、对话流转通,但出现了图片解析异常:已解码出图片临时文件 /tmp/tmpz9m1f84c.png,模型却提示「未上传图片」。
Expected behavior / 期待表现
能够正常识别图片
System Info / 系統信息
Ubuntu 22.04.5 LTS
nvidia-smi
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 575.57.08 Driver Version: 575.57.08 CUDA Version: 12.9 |
Xinference:v2.9.0
Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece?
Version info / 版本信息
Xinference:v2.9.0
The command used to start Xinference / 用以启动 xinference 的命令
docker run
-v /data1/xinference/.xinference:/root/.xinference
-v /data1/xinference/.cache/huggingface:/root/.cache/huggingface
-v /data1/xinference/.cache/modelscope:/root/.cache/modelscope
-v /data1/xinference/auth_config.json:/root/.cache/auth_config.json
-e XINFERENCE_MODEL_SRC=modelscope
-e TZ=Asia/Shanghai
-p 9997:9997
--gpus all
--name xinference-v2.9.0
xprobe/xinference:v2.9.0
xinference-local -H 0.0.0.0 --auth-config /root/.cache/auth_config.json --log-level debug
Reproduction / 复现过程
控制台相关日志如下:
2026-05-26 22:02:49,603 xinference.model.llm.vllm.core 15375 [local@0.0.0.0:64148] DEBUG Decoded base64 content to temp file: /tmp/tmpz9m1f84c.png
2026-05-26 22:02:49,604 xinference.model.llm.utils 15375 [local@0.0.0.0:64148] DEBUG Prompt: <|turn>system
<|think|>
<turn|>
<|turn>user
你好<turn|>
<|turn>model
你好!有什么我可以帮你的吗?<turn|>
<|turn>user
识别图片中的元素<|image|><turn|>
<|turn>model
您还没有上传图片。请发送您想要识别的图片,然后我会为您分析并列出其中的元素。
我可以帮您识别:
期待您的图片!<turn|>
可以看到目前模型正常启动、对话流转通,但出现了图片解析异常:已解码出图片临时文件 /tmp/tmpz9m1f84c.png,模型却提示「未上传图片」。
Expected behavior / 期待表现
能够正常识别图片