尧图网站建设 
简介这份资源是面向Delphi开发者与Object Pascal编程学习者的DeepSeek-VL2-main项目压缩包适合希望研究深度视觉语言模型实现、或需要在Delphi 12.3环境下参考相关控件与工程结构的开发者。包内共56个文件以19个Python源码文件为核心辅以jpeg、jpg、png等图像素材、js与css前端资源、svg图标、ttc字体以及toml、yaml、makefile、flake8、pylintrc等工程配置与代码规范文件另含论文PDF、README说明与开源许可证压缩包整体约22.74MB。目录中可见deepseek_vl2模块、web_demo.py与inference.py等入口脚本便于读者直接阅读模型推理与网页演示的实现逻辑理解项目从配置、依赖到运行脚本的完整组织方式。目前已有124人学习下载适合作为深度学习与Delphi交叉场景下的参考素材帮助开发者快速把握项目结构与关键代码脉络。1. 拆开 DeepSeek-VL2-main.rarDelphi 12.3 控件目录里为什么躺着一个 Python 多模态项目第一次看到DeepSeek-VL2-main.rar挂在 Delphi 12.3 控件资源位我以为是某个 Object Pascal 封装的多模态组件包。解压后目录结构很诚实.flake8、.pre-commit-config.yaml、pyproject.toml、requirements.txt、web_demo.py、inference.py、deepseek_vl2包目录外加一份DeepSeek_VL2_paper.pdf。这是一套标准的 Python 工程骨架跟 Delphi 的.pas、.dpk、.bpl没有半点关系。它真正能解决的是你想在本地跑通 DeepSeek-VL2 的视觉语言推理又不想从零去 GitHub 拉仓库、配环境、猜依赖版本。适合两类人一类是手里有 Delphi 12.3 工程、想给桌面端接一个多模态能力做验证的开发者另一类是单纯想拿一份可离线复现的 VL2 推理代码做实验的算法同学。控件标签只是资源归类别被它带偏。2. 先看清这份包的结构哪些文件决定能不能跑起来2.1 目录清单与职责划分解压后先别急着pip install把文件按职责分三堆看能省掉后面一半的排错时间。文件/目录职责是否影响运行deepseek_vl2/模型定义、processor、对话模板核心包是缺一不可inference.py单图/多图推理入口脚本是主要调试对象web_demo.pyGradio 网页交互入口否可选requirements.txtPython 依赖清单是pyproject.toml打包与工具链配置否但影响可编辑安装DeepSeek_VL2_paper.pdf论文用于核对模型结构否.flake8/.pylintrc/.pre-commit-config.yaml代码规范工具配置否images/示例图片否但推理测试要用requirements.txt和pyproject.toml同时存在说明这个包既支持pip install -r也支持pip install -e .的可编辑安装。我一般优先走可编辑安装因为后面要改inference.py里的参数装成包之后导入路径更干净。2.2 依赖安装先锁 Python 版本再谈别的DeepSeek-VL2 依赖torch、transformers、timm、attrdict、einops这一串版本错一个就可能在 import 阶段炸。常见做法是先建独立虚拟环境Python 用 3.10 或 3.113.12 上部分依赖轮子还不齐。# 建环境Python 版本别乱选3.10/3.11 最稳 conda create -n vl2 python3.10 -y conda activate vl2 # 进解压目录 cd DeepSeek-VL2-main # 先装 torch按自己 CUDA 版本去官方索引选这里给的是 cu121 示例 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121 # 再装项目依赖 pip install -r requirements.txt # 可选可编辑安装方便改代码后直接 import pip install -e .逻辑说明先单独装torch是为了避免requirements.txt里把 CPU 版 torch 拉进来导致后面推理时cuda.is_available()返回 False 却查不出原因。参数上--index-url指向的 CUDA 版本必须和你机器驱动匹配驱动版本低就往下选 cu118。pip install -e .会在 site-packages 里建一个指向当前目录的链接改deepseek_vl2/下的代码立即生效不用重装。2.3 模型权重与推理入口的关系inference.py本身不含权重它靠transformers的from_pretrained去加载模型目录。也就是说你得先把 VL2 的权重下到本地某个路径再把路径喂给脚本。这一步是新手最容易卡住的地方——脚本能跑但报OSError: Cant load config八成是权重路径没给对。# inference.py 里典型加载逻辑示意按实际文件为准 from deepseek_vl2.models import DeepseekVLV2Processor, DeepseekVLV2ForCausalLM from transformers import AutoModelForCausalLM model_path deepseek-ai/deepseek-vl2-tiny # 换成你本地的权重目录 vl_chat_processor DeepseekVLV2Processor.from_pretrained(model_path) tokenizer vl_chat_processor.tokenizer vl_gpt AutoModelForCausalLM.from_pretrained( model_path, trust_remote_codeTrue, # VL2 有自定义建模代码必须开 torch_dtypeauto # 让框架按权重自动选精度 ) vl_gpt vl_gpt.cuda().eval()逻辑说明trust_remote_codeTrue是硬性要求因为deepseek_vl2里有自定义的模型类不开这个参数transformers会拒绝加载。torch_dtypeauto让框架读权重里的 dtype省得你手动指定 fp16 还是 bf16。model_path既可以是 HuggingFace 上的仓库名也可以是本地绝对路径离线场景直接写本地目录。3. 把推理跑通从单图问答到多图输入的参数怎么设3.1 单图推理的最小可复现流程先拿images/里的示例图跑一遍确认环境没问题再换自己的图。VL2 的对话模板要求把图片和文本按特定格式拼进conversation列表格式错了模型会答非所问。from PIL import Image import torch from deepseek_vl2.models import DeepseekVLV2Processor, DeepseekVLV2ForCausalLM from deepseek_vl2.utils.io import load_pil_images model_path deepseek-ai/deepseek-vl2-tiny vl_chat_processor DeepseekVLV2Processor.from_pretrained(model_path) tokenizer vl_chat_processor.tokenizer vl_gpt DeepseekVLV2ForCausalLM.from_pretrained( model_path, trust_remote_codeTrue, torch_dtypetorch.bfloat16 ).cuda().eval() # 对话结构image 字段放图片路径text 字段放问题 conversation [ { role: |User|, content: image\n这张图里有什么, images: [./images/sample.jpg], }, {role: |Assistant|, content: }, ] # 加载图片并做预处理 pil_images load_pil_images(conversation) prepare_inputs vl_chat_processor( conversationsconversation, imagespil_images, force_batchifyTrue, system_prompt ).to(vl_gpt.device) # 前向推理 inputs_embeds vl_gpt.prepare_inputs_embeds(**prepare_inputs) outputs vl_gpt.language_model.generate( inputs_embedsinputs_embeds, attention_maskprepare_inputs.attention_mask, pad_token_idtokenizer.eos_token_id, bos_token_idtokenizer.bos_token_id, eos_token_idtokenizer.eos_token_id, max_new_tokens512, do_sampleFalse, use_cacheTrue, ) answer tokenizer.decode(outputs[0].cpu().tolist(), skip_special_tokensTrue) print(answer)逻辑说明image占位符必须和images字段一一对应少一个占位符图片就不会被编码进上下文。force_batchifyTrue把单条对话也整理成 batch 维度避免后面prepare_inputs_embeds报维度错误。max_new_tokens512控制回答长度显存紧张就往下调到 256。do_sampleFalse走贪心解码结果可复现做调试时别开采样。3.2 多图与分辨率参数显存和精度的取舍VL2 支持多图输入但每张图都会切 patch 编码显存占用随图片数量线性涨。vl_chat_processor在预处理时会按配置把图片 resize 到固定分辨率这个值直接决定显存峰值。# 多图对话images 列表和 image 占位符数量必须一致 conversation [ { role: |User|, content: image\nimage\n对比这两张图的差异, images: [./images/a.jpg, ./images/b.jpg], }, {role: |Assistant|, content: }, ] # 显存不够时在 processor 调用前限制图片尺寸 from PIL import Image pil_images [Image.open(p).convert(RGB) for p in [./images/a.jpg, ./images/b.jpg]] # 手动缩到长边 1024牺牲一点细节换显存 pil_images [img.resize((1024, int(1024 * img.height / img.width))) for img in pil_images]逻辑说明image占位符数量与images列表长度不等时processor 会抛断言错误这是最常见的翻车点。手动 resize 是权宜之计正规做法是改 processor 的image_size配置但改配置要同步改模型位置编码的预期新手别轻易动。显存 12G 以下建议单图、长边 1024 以内24G 可以跑双图 1024再大就上 bf16 加梯度检查点但推理场景用不到检查点。3.3 用 web_demo.py 做快速验证不想写脚本就用web_demo.py它基于 Gradio 起一个本地网页上传图片、输入问题、看回答适合给不写代码的同事演示。# 启动网页 demo默认监听 127.0.0.1 python web_demo.py --model_path deepseek-ai/deepseek-vl2-tiny --port 7860 # 如果要在局域网内访问绑 0.0.0.0 python web_demo.py --model_path deepseek-ai/deepseek-vl2-tiny --port 7860 --host 0.0.0.0逻辑说明--model_path同样支持本地权重目录离线环境必须用本地路径。--port被占用就换一个Gradio 默认会尝试 7860 起步往上找。绑0.0.0.0前确认网络环境允许否则可能被安全策略拦。这个 demo 只是验证通道别拿它当生产服务并发一上来就排队。4. 避坑与排查这五条血泪经验能省你一个下午4.1 现象import deepseek_vl2 报 ModuleNotFoundError原因没做可编辑安装或者当前工作目录不在解压根目录Python 找不到包。解决在解压根目录执行pip install -e .或者临时export PYTHONPATH$PWD:$PYTHONPATH。别在deepseek_vl2/子目录里跑脚本导入路径会乱。4.2 现象加载模型时报 trust_remote_code 相关错误原因from_pretrained没传trust_remote_codeTrue或者 transformers 版本太低不认这个参数。解决确认参数已加并把transformers升到requirements.txt指定的下限以上。升级前先pip show transformers看当前版本别盲目-U把 torch 一起带崩。4.3 现象推理输出乱码或全是重复 token原因对话模板的 role 标签写错比如把|User|写成|user|或者system_prompt传了非空字符串但模型没对应训练。解决严格照inference.py里的 role 字符串抄大小写和竖线都不能改system_prompt保持空字符串。4.4 现象CUDA out of memory但显存看着还有余量原因PyTorch 缓存分配器碎片化或者图片预处理后的 patch 数超出预期。解决先torch.cuda.empty_cache()再把max_new_tokens降到 256、图片长边降到 768 试。还不行就换 tiny 权重验证流程确认是显存问题还是代码问题。4.5 现象web_demo 页面能开但上传图片后无响应原因Gradio 版本与requirements.txt不匹配或者后端推理阻塞在主线程。解决按requirements.txt重装 gradio别用系统里已有的旧版同时确认没有多个 Python 环境串用which python和which pip要指向同一个环境。5. 进阶把 VL2 推理封装成 Delphi 12.3 能调用的本地服务Delphi 12.3 本身不跑 Python但可以通过TIdHTTP或TRESTClient调本地 HTTP 接口。思路是用 FastAPI 把inference.py的推理逻辑包一层起一个本地服务Delphi 端发 POST 请求传图片路径和问题拿 JSON 回答。这样 Delphi 工程不用碰 Python 环境只当客户端。# server.py把 VL2 推理包成 HTTP 接口 from fastapi import FastAPI from pydantic import BaseModel import torch from deepseek_vl2.models import DeepseekVLV2Processor, DeepseekVLV2ForCausalLM from deepseek_vl2.utils.io import load_pil_images app FastAPI() model_path deepseek-ai/deepseek-vl2-tiny processor DeepseekVLV2Processor.from_pretrained(model_path) model DeepseekVLV2ForCausalLM.from_pretrained( model_path, trust_remote_codeTrue, torch_dtypetorch.bfloat16 ).cuda().eval() class Query(BaseModel): image_path: str question: str app.post(/v1/ask) def ask(q: Query): conversation [ {role: |User|, content: fimage\n{q.question}, images: [q.image_path]}, {role: |Assistant|, content: }, ] pil_images load_pil_images(conversation) inputs processor(conversationsconversation, imagespil_images, force_batchifyTrue, system_prompt).to(model.device) embeds model.prepare_inputs_embeds(**inputs) out model.language_model.generate( inputs_embedsembeds, attention_maskinputs.attention_mask, max_new_tokens256, do_sampleFalse, use_cacheTrue, pad_token_idprocessor.tokenizer.eos_token_id, ) return {answer: processor.tokenizer.decode(out[0].cpu().tolist(), skip_special_tokensTrue)}逻辑说明Query用 Pydantic 定义请求体Delphi 端发 JSON 时字段名要对上。/v1/ask是同步接口推理耗时长时 Delphi 的 HTTP 超时要设大TIdHTTP.ReadTimeout给到 60000 毫秒以上。模型在服务启动时加载一次别每次请求都from_pretrained否则第一次请求能等几分钟。Delphi 端调用示例Object Pascal// Delphi 12.3 里用 TRESTClient 调本地 VL2 服务 var Client: TRESTClient; Request: TRESTRequest; Response: TRESTResponse; begin Client : TRESTClient.Create(http://127.0.0.1:8000); Request : TRESTRequest.Create(nil); Response : TRESTResponse.Create(nil); try Request.Client : Client; Request.Response : Response; Request.Method : rmPOST; Request.Resource : v1/ask; Request.AddBody({image_path:D:/imgs/a.jpg,question:图里有什么}, ctAPPLICATION_JSON); Request.Timeout : 120000; // 推理慢超时给足 Request.Execute; Memo1.Lines.Text : Response.Content; finally Request.Free; Response.Free; Client.Free; end; end;逻辑说明AddBody的 JSON 字符串里路径用正斜杠或双反斜杠Delphi 字符串里单反斜杠会被当转义。Timeout单位是毫秒设小了会在模型出结果前断开表现为Socket Error。返回的Response.Content是 JSON用TJSONObject解析出answer字段再显示。验证方法先uvicorn server:app --host 127.0.0.1 --port 8000起服务用 curl 打一发确认通再上 Delphi。curl 命令curl -X POST http://127.0.0.1:8000/v1/ask \ -H Content-Type: application/json \ -d {image_path:./images/sample.jpg,question:描述这张图}能返回 JSON 就说明服务侧没问题Delphi 端再报错就是客户端配置的事。我一般会先跑通 curl 再碰 Delphi省得两边同时排查。从那以后我每次接这种跨语言调用都强制先让服务端在命令行里出一份正确响应再写客户端代码。希望帮到你。本文还有配套的精品资源点击获取 DeepSeek-VL2本地部署与Delphi 12.3集成实战
简介这份资源是面向Delphi开发者与Object Pascal编程学习者的DeepSeek-VL2-main项目压缩包适合希望研究深度视觉语言模型实现、或需要在Delphi 12.3环境下参考相关控件与工程结构的开发者。包内共56个文件以19个Python源码文件为核心辅以jpeg、jpg、png等图像素材、js与css前端资源、svg图标、ttc字体以及toml、yaml、makefile、flake8、pylintrc等工程配置与代码规范文件另含论文PDF、README说明与开源许可证压缩包整体约22.74MB。目录中可见deepseek_vl2模块、web_demo.py与inference.py等入口脚本便于读者直接阅读模型推理与网页演示的实现逻辑理解项目从配置、依赖到运行脚本的完整组织方式。目前已有124人学习下载适合作为深度学习与Delphi交叉场景下的参考素材帮助开发者快速把握项目结构与关键代码脉络。1. 拆开 DeepSeek-VL2-main.rarDelphi 12.3 控件目录里为什么躺着一个 Python 多模态项目第一次看到DeepSeek-VL2-main.rar挂在 Delphi 12.3 控件资源位我以为是某个 Object Pascal 封装的多模态组件包。解压后目录结构很诚实.flake8、.pre-commit-config.yaml、pyproject.toml、requirements.txt、web_demo.py、inference.py、deepseek_vl2包目录外加一份DeepSeek_VL2_paper.pdf。这是一套标准的 Python 工程骨架跟 Delphi 的.pas、.dpk、.bpl没有半点关系。它真正能解决的是你想在本地跑通 DeepSeek-VL2 的视觉语言推理又不想从零去 GitHub 拉仓库、配环境、猜依赖版本。适合两类人一类是手里有 Delphi 12.3 工程、想给桌面端接一个多模态能力做验证的开发者另一类是单纯想拿一份可离线复现的 VL2 推理代码做实验的算法同学。控件标签只是资源归类别被它带偏。2. 先看清这份包的结构哪些文件决定能不能跑起来2.1 目录清单与职责划分解压后先别急着pip install把文件按职责分三堆看能省掉后面一半的排错时间。文件/目录职责是否影响运行deepseek_vl2/模型定义、processor、对话模板核心包是缺一不可inference.py单图/多图推理入口脚本是主要调试对象web_demo.pyGradio 网页交互入口否可选requirements.txtPython 依赖清单是pyproject.toml打包与工具链配置否但影响可编辑安装DeepSeek_VL2_paper.pdf论文用于核对模型结构否.flake8/.pylintrc/.pre-commit-config.yaml代码规范工具配置否images/示例图片否但推理测试要用requirements.txt和pyproject.toml同时存在说明这个包既支持pip install -r也支持pip install -e .的可编辑安装。我一般优先走可编辑安装因为后面要改inference.py里的参数装成包之后导入路径更干净。2.2 依赖安装先锁 Python 版本再谈别的DeepSeek-VL2 依赖torch、transformers、timm、attrdict、einops这一串版本错一个就可能在 import 阶段炸。常见做法是先建独立虚拟环境Python 用 3.10 或 3.113.12 上部分依赖轮子还不齐。# 建环境Python 版本别乱选3.10/3.11 最稳 conda create -n vl2 python3.10 -y conda activate vl2 # 进解压目录 cd DeepSeek-VL2-main # 先装 torch按自己 CUDA 版本去官方索引选这里给的是 cu121 示例 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121 # 再装项目依赖 pip install -r requirements.txt # 可选可编辑安装方便改代码后直接 import pip install -e .逻辑说明先单独装torch是为了避免requirements.txt里把 CPU 版 torch 拉进来导致后面推理时cuda.is_available()返回 False 却查不出原因。参数上--index-url指向的 CUDA 版本必须和你机器驱动匹配驱动版本低就往下选 cu118。pip install -e .会在 site-packages 里建一个指向当前目录的链接改deepseek_vl2/下的代码立即生效不用重装。2.3 模型权重与推理入口的关系inference.py本身不含权重它靠transformers的from_pretrained去加载模型目录。也就是说你得先把 VL2 的权重下到本地某个路径再把路径喂给脚本。这一步是新手最容易卡住的地方——脚本能跑但报OSError: Cant load config八成是权重路径没给对。# inference.py 里典型加载逻辑示意按实际文件为准 from deepseek_vl2.models import DeepseekVLV2Processor, DeepseekVLV2ForCausalLM from transformers import AutoModelForCausalLM model_path deepseek-ai/deepseek-vl2-tiny # 换成你本地的权重目录 vl_chat_processor DeepseekVLV2Processor.from_pretrained(model_path) tokenizer vl_chat_processor.tokenizer vl_gpt AutoModelForCausalLM.from_pretrained( model_path, trust_remote_codeTrue, # VL2 有自定义建模代码必须开 torch_dtypeauto # 让框架按权重自动选精度 ) vl_gpt vl_gpt.cuda().eval()逻辑说明trust_remote_codeTrue是硬性要求因为deepseek_vl2里有自定义的模型类不开这个参数transformers会拒绝加载。torch_dtypeauto让框架读权重里的 dtype省得你手动指定 fp16 还是 bf16。model_path既可以是 HuggingFace 上的仓库名也可以是本地绝对路径离线场景直接写本地目录。3. 把推理跑通从单图问答到多图输入的参数怎么设3.1 单图推理的最小可复现流程先拿images/里的示例图跑一遍确认环境没问题再换自己的图。VL2 的对话模板要求把图片和文本按特定格式拼进conversation列表格式错了模型会答非所问。from PIL import Image import torch from deepseek_vl2.models import DeepseekVLV2Processor, DeepseekVLV2ForCausalLM from deepseek_vl2.utils.io import load_pil_images model_path deepseek-ai/deepseek-vl2-tiny vl_chat_processor DeepseekVLV2Processor.from_pretrained(model_path) tokenizer vl_chat_processor.tokenizer vl_gpt DeepseekVLV2ForCausalLM.from_pretrained( model_path, trust_remote_codeTrue, torch_dtypetorch.bfloat16 ).cuda().eval() # 对话结构image 字段放图片路径text 字段放问题 conversation [ { role: |User|, content: image\n这张图里有什么, images: [./images/sample.jpg], }, {role: |Assistant|, content: }, ] # 加载图片并做预处理 pil_images load_pil_images(conversation) prepare_inputs vl_chat_processor( conversationsconversation, imagespil_images, force_batchifyTrue, system_prompt ).to(vl_gpt.device) # 前向推理 inputs_embeds vl_gpt.prepare_inputs_embeds(**prepare_inputs) outputs vl_gpt.language_model.generate( inputs_embedsinputs_embeds, attention_maskprepare_inputs.attention_mask, pad_token_idtokenizer.eos_token_id, bos_token_idtokenizer.bos_token_id, eos_token_idtokenizer.eos_token_id, max_new_tokens512, do_sampleFalse, use_cacheTrue, ) answer tokenizer.decode(outputs[0].cpu().tolist(), skip_special_tokensTrue) print(answer)逻辑说明image占位符必须和images字段一一对应少一个占位符图片就不会被编码进上下文。force_batchifyTrue把单条对话也整理成 batch 维度避免后面prepare_inputs_embeds报维度错误。max_new_tokens512控制回答长度显存紧张就往下调到 256。do_sampleFalse走贪心解码结果可复现做调试时别开采样。3.2 多图与分辨率参数显存和精度的取舍VL2 支持多图输入但每张图都会切 patch 编码显存占用随图片数量线性涨。vl_chat_processor在预处理时会按配置把图片 resize 到固定分辨率这个值直接决定显存峰值。# 多图对话images 列表和 image 占位符数量必须一致 conversation [ { role: |User|, content: image\nimage\n对比这两张图的差异, images: [./images/a.jpg, ./images/b.jpg], }, {role: |Assistant|, content: }, ] # 显存不够时在 processor 调用前限制图片尺寸 from PIL import Image pil_images [Image.open(p).convert(RGB) for p in [./images/a.jpg, ./images/b.jpg]] # 手动缩到长边 1024牺牲一点细节换显存 pil_images [img.resize((1024, int(1024 * img.height / img.width))) for img in pil_images]逻辑说明image占位符数量与images列表长度不等时processor 会抛断言错误这是最常见的翻车点。手动 resize 是权宜之计正规做法是改 processor 的image_size配置但改配置要同步改模型位置编码的预期新手别轻易动。显存 12G 以下建议单图、长边 1024 以内24G 可以跑双图 1024再大就上 bf16 加梯度检查点但推理场景用不到检查点。3.3 用 web_demo.py 做快速验证不想写脚本就用web_demo.py它基于 Gradio 起一个本地网页上传图片、输入问题、看回答适合给不写代码的同事演示。# 启动网页 demo默认监听 127.0.0.1 python web_demo.py --model_path deepseek-ai/deepseek-vl2-tiny --port 7860 # 如果要在局域网内访问绑 0.0.0.0 python web_demo.py --model_path deepseek-ai/deepseek-vl2-tiny --port 7860 --host 0.0.0.0逻辑说明--model_path同样支持本地权重目录离线环境必须用本地路径。--port被占用就换一个Gradio 默认会尝试 7860 起步往上找。绑0.0.0.0前确认网络环境允许否则可能被安全策略拦。这个 demo 只是验证通道别拿它当生产服务并发一上来就排队。4. 避坑与排查这五条血泪经验能省你一个下午4.1 现象import deepseek_vl2 报 ModuleNotFoundError原因没做可编辑安装或者当前工作目录不在解压根目录Python 找不到包。解决在解压根目录执行pip install -e .或者临时export PYTHONPATH$PWD:$PYTHONPATH。别在deepseek_vl2/子目录里跑脚本导入路径会乱。4.2 现象加载模型时报 trust_remote_code 相关错误原因from_pretrained没传trust_remote_codeTrue或者 transformers 版本太低不认这个参数。解决确认参数已加并把transformers升到requirements.txt指定的下限以上。升级前先pip show transformers看当前版本别盲目-U把 torch 一起带崩。4.3 现象推理输出乱码或全是重复 token原因对话模板的 role 标签写错比如把|User|写成|user|或者system_prompt传了非空字符串但模型没对应训练。解决严格照inference.py里的 role 字符串抄大小写和竖线都不能改system_prompt保持空字符串。4.4 现象CUDA out of memory但显存看着还有余量原因PyTorch 缓存分配器碎片化或者图片预处理后的 patch 数超出预期。解决先torch.cuda.empty_cache()再把max_new_tokens降到 256、图片长边降到 768 试。还不行就换 tiny 权重验证流程确认是显存问题还是代码问题。4.5 现象web_demo 页面能开但上传图片后无响应原因Gradio 版本与requirements.txt不匹配或者后端推理阻塞在主线程。解决按requirements.txt重装 gradio别用系统里已有的旧版同时确认没有多个 Python 环境串用which python和which pip要指向同一个环境。5. 进阶把 VL2 推理封装成 Delphi 12.3 能调用的本地服务Delphi 12.3 本身不跑 Python但可以通过TIdHTTP或TRESTClient调本地 HTTP 接口。思路是用 FastAPI 把inference.py的推理逻辑包一层起一个本地服务Delphi 端发 POST 请求传图片路径和问题拿 JSON 回答。这样 Delphi 工程不用碰 Python 环境只当客户端。# server.py把 VL2 推理包成 HTTP 接口 from fastapi import FastAPI from pydantic import BaseModel import torch from deepseek_vl2.models import DeepseekVLV2Processor, DeepseekVLV2ForCausalLM from deepseek_vl2.utils.io import load_pil_images app FastAPI() model_path deepseek-ai/deepseek-vl2-tiny processor DeepseekVLV2Processor.from_pretrained(model_path) model DeepseekVLV2ForCausalLM.from_pretrained( model_path, trust_remote_codeTrue, torch_dtypetorch.bfloat16 ).cuda().eval() class Query(BaseModel): image_path: str question: str app.post(/v1/ask) def ask(q: Query): conversation [ {role: |User|, content: fimage\n{q.question}, images: [q.image_path]}, {role: |Assistant|, content: }, ] pil_images load_pil_images(conversation) inputs processor(conversationsconversation, imagespil_images, force_batchifyTrue, system_prompt).to(model.device) embeds model.prepare_inputs_embeds(**inputs) out model.language_model.generate( inputs_embedsembeds, attention_maskinputs.attention_mask, max_new_tokens256, do_sampleFalse, use_cacheTrue, pad_token_idprocessor.tokenizer.eos_token_id, ) return {answer: processor.tokenizer.decode(out[0].cpu().tolist(), skip_special_tokensTrue)}逻辑说明Query用 Pydantic 定义请求体Delphi 端发 JSON 时字段名要对上。/v1/ask是同步接口推理耗时长时 Delphi 的 HTTP 超时要设大TIdHTTP.ReadTimeout给到 60000 毫秒以上。模型在服务启动时加载一次别每次请求都from_pretrained否则第一次请求能等几分钟。Delphi 端调用示例Object Pascal// Delphi 12.3 里用 TRESTClient 调本地 VL2 服务 var Client: TRESTClient; Request: TRESTRequest; Response: TRESTResponse; begin Client : TRESTClient.Create(http://127.0.0.1:8000); Request : TRESTRequest.Create(nil); Response : TRESTResponse.Create(nil); try Request.Client : Client; Request.Response : Response; Request.Method : rmPOST; Request.Resource : v1/ask; Request.AddBody({image_path:D:/imgs/a.jpg,question:图里有什么}, ctAPPLICATION_JSON); Request.Timeout : 120000; // 推理慢超时给足 Request.Execute; Memo1.Lines.Text : Response.Content; finally Request.Free; Response.Free; Client.Free; end; end;逻辑说明AddBody的 JSON 字符串里路径用正斜杠或双反斜杠Delphi 字符串里单反斜杠会被当转义。Timeout单位是毫秒设小了会在模型出结果前断开表现为Socket Error。返回的Response.Content是 JSON用TJSONObject解析出answer字段再显示。验证方法先uvicorn server:app --host 127.0.0.1 --port 8000起服务用 curl 打一发确认通再上 Delphi。curl 命令curl -X POST http://127.0.0.1:8000/v1/ask \ -H Content-Type: application/json \ -d {image_path:./images/sample.jpg,question:描述这张图}能返回 JSON 就说明服务侧没问题Delphi 端再报错就是客户端配置的事。我一般会先跑通 curl 再碰 Delphi省得两边同时排查。从那以后我每次接这种跨语言调用都强制先让服务端在命令行里出一份正确响应再写客户端代码。希望帮到你。本文还有配套的精品资源点击获取