尧图网站建设 
InternVL3_5-4B-HF本地运行实战bf16、8bit量化、多卡推理3种方式一次讲透的完整指南【免费下载链接】InternVL3_5-4B-HF项目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/InternVL3_5-4B-HFInternVL3_5-4B-HF 是 InternVL3.5 系列中参数量 4.7B 的开源多模态大模型HuggingFace 标准格式支持图片理解、视频理解与视觉推理。本文带你本地运行这个多模态大模型一次讲透bf16 原精度加载、8bit 量化加载、多卡推理3 种方式的完整指南从下载文件到第一次看到推理结果全程可复现 一、为什么选 InternVL3_5-4B-HF4B 级多模态大模型有多能打InternVL3_5-4B-HF 采用经典的ViT – MLP – LLM架构由三个核心部分组成组成规格说明视觉编码器InternViT-300M0.3B24 层输入 448×448输出 256 个视觉 token语言模型Qwen3-4B4.4B36 层32 个头最长 40960 token 上下文总参数4.7B开源多模态大模型中的轻量旗舰级它的亮点在于HF 标准格式可直接用 transformers 的AutoModelForImageTextToText加载不用写复杂的自定义代码bf16 原生精度config.json 中torch_dtype为bfloat16训练即推理同精度Apache-2.0 协议个人与商用场景均可放心使用4B 体量消费级显卡就能本地运行是入门多模态大模型部署的首选。 同系列还有 1B / 8B / 14B / 30B-A3B 等尺寸本文的 3 种加载方式对全系列通用。二、本地运行前的准备环境与模型文件2.1 一键安装运行依赖环境要求不高一条命令装好核心依赖pip install transformers4.52.1 torch accelerate bitsandbytestransformers ≥ 4.52.1是官方硬性要求推荐直接用 4.55本模型打包版本即 4.55.0bitsandbytes是 8bit 量化加载的关键accelerate负责多卡场景的权重自动分配若用到了use_flash_attnTrue还需额外安装 FlashAttention-2。2.2 下载模型文件国内可直接克隆镜像仓库到本地git clone https://gitcode.com/hf_mirrors/OpenGVLab/InternVL3_5-4B-HF克隆完成后目录里的核心文件各有分工文件作用config.json模型结构配置视觉/语言双编码器参数model-00001-of-00002.safetensorsmodel-00002-of-00002.safetensors权重分片bf16约 9.5 GBmodel.safetensors.index.json权重分片索引加载时自动拼接tokenizer.json/tokenizer_config.json文本分词器preprocessor_config.json/video_preprocessor_config.json图像/视频预处理配置chat_template.jinja对话模板多轮对话格式由它决定examples/image1.jpg官方示例图片可当第一张测试图2.3 显卡显存需求预估选型前先对号入座4.7B 参数的多模态大模型三种方式的显存占用差异明显加载方式权重占用建议显存适合显卡举例bf16 原精度约 9.5 GB≥ 16 GBRTX 3090 / 40908bit 量化约 5 GB≥ 10 GBRTX 3060 12G / 4070多卡推理按卡数分摊单卡放不下时2 × 任意 ≥ 12 GB 显卡 显存 权重 视觉编码激活 KV Cache长对话和图片越多占得越多表中已预留余量。三、方式一bf16 原精度加载精度优先适合 16 GB 显存的单卡保持模型出厂精度多模态推理效果最好。核心就是在加载时指定torch_dtypetorch.bfloat16import torch from transformers import AutoTokenizer, AutoModelForImageTextToText path ./InternVL3_5-4B-HF # 本地克隆目录 model AutoModelForImageTextToText.from_pretrained( path, torch_dtypetorch.bfloat16, low_cpu_mem_usageTrue, use_flash_attnTrue, trust_remote_codeTrue ).eval().cuda()三个参数值得注意low_cpu_mem_usageTrue先加载到 CPU 再上卡避免峰值内存翻倍use_flash_attnTrue大幅降低长序列注意力显存没有 FlashAttention 环境可去掉此行.cuda()显存充裕的单卡直接整模型上卡。四、方式二8bit 量化加载显存紧张首选显存只有 10 GB 左右开启bitsandbytes 8bit 量化权重从 bf16 压到 8 位显存占用直降一半以上多模态理解能力损失很小import torch from transformers import AutoModelForImageTextToText path ./InternVL3_5-4B-HF model AutoModelForImageTextToText.from_pretrained( path, torch_dtypetorch.bfloat16, load_in_8bitTrue, # 开启 8bit 量化 low_cpu_mem_usageTrue, use_flash_attnTrue, trust_remote_codeTrue ).eval()两个新手常见坑不要再手动调用.cuda()量化模块会自动把权重放到 GPU 上8bit 依赖bitsandbytes务必确认已安装且是 CUDA 版本。五、方式三多卡推理单卡放不下时当模型权重超出单卡显存用device_mapauto让 accelerate 自动把视觉编码器、语言模型等模块切分到多张 GPU 上import torch from transformers import AutoModelForImageTextToText path ./InternVL3_5-4B-HF model AutoModelForImageTextToText.from_pretrained( path, torch_dtypetorch.bfloat16, low_cpu_mem_usageTrue, use_flash_attnTrue, trust_remote_codeTrue, device_mapauto # 权重自动分配到多张 GPU ).eval()多卡推理的实用提示4B 模型双卡绰绰有余官方同系列 38B 版本才需要 2 × A100可见 4B 的本地友好度分配情况可在加载日志里看到每层落在哪张卡也可用nvidia-smi实时验证多卡间需保证 PCIe/NVLink 带宽正常跨节点场景延迟会明显增加。六、第一次多模态推理让模型看图说话模型加载完成后用项目自带的示例图片 examples/image1.jpg 跑通第一次推理from transformers import AutoProcessor from PIL import Image processor AutoProcessor.from_pretrained(path, trust_remote_codeTrue) image Image.open(examples/image1.jpg) messages [{role: user, content: [ {type: image, image: image}, {type: text, text: 请描述这张图片里的动物。}]}] inputs processor.apply_chat_template( messages, tokenizeTrue, add_generation_promptTrue, return_dictTrue, return_tensorspt).to(model.device) out model.generate(**inputs, max_new_tokens256) print(processor.decode(out[0][inputs[input_ids].shape[-1]:]))运行后你会看到模型准确认出这是一只趴在木架上、望着镜头的小熊猫 恭喜InternVL3.5-4B 多模态推理已跑通七、进阶小贴士3 个高频用法开启 Thinking 思考模式在 system 消息中设置官方 R1 系统提示词让模型先think再作答推荐搭配do_sampleTrue、temperature0.6可显著减少重复输出数学/图表推理题表现提升明显视频理解项目examples/下还提供red-panda.mp4示例视频InternVL3.5 原生支持视频帧输入加载方式与图片一致高吞吐服务部署本地验证通过后生产环境可切换到 LMDeploy 或 vLLM 推理引擎一条命令即可暴露 OpenAI 兼容的 API 服务吞吐量远超纯 transformers。八、本地运行常见问题 FAQQ1显存不足直接 OOM 怎么办依次尝试① 改用 8bit 量化加载②device_mapauto多卡切分③ 调小图片动态分辨率和max_new_tokens。Q2报trust_remote_code或模型加载相关报错先升级 transformers 到 4.52.1 以上推荐 4.55再确认用本地路径而非远程仓库名加载。Q3为什么加载后速度偏慢检查是否装上了 FlashAttention-2 并开启了use_flash_attnTrue4090 等支持 FP16 的卡还可考虑改用torch.float16。Q4没有独立显卡能跑吗纯 CPU 推理 4.7B 多模态模型耗时过长仅建议用于流程验证正式使用建议 8 GB 以上显存的独显。九、总结3 种方式怎么选你的场景推荐方式一句话理由16 GB 显存单卡追求效果bf16 原精度出厂精度多模态理解最佳8–12 GB 显存够用就行8bit 量化显存减半体验几乎无损单卡放不下 / 想留长上下文多卡device_mapauto权重自动分卡部署最省心InternVL3_5-4B-HF 作为 4B 级的开源多模态大模型把本地跑通视觉推理的门槛降到了消费级显卡。按本文的三步流程——装依赖、下文件、选加载方式——你最快 10 分钟就能拥有自己的多模态推理服务快去试试吧 ✨【免费下载链接】InternVL3_5-4B-HF项目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/InternVL3_5-4B-HF创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 InternVL3_5-4B-HF本地运行实战：bf16、8bit量化、多卡推理3种方式一次讲透的完整指南
InternVL3_5-4B-HF本地运行实战bf16、8bit量化、多卡推理3种方式一次讲透的完整指南【免费下载链接】InternVL3_5-4B-HF项目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/InternVL3_5-4B-HFInternVL3_5-4B-HF 是 InternVL3.5 系列中参数量 4.7B 的开源多模态大模型HuggingFace 标准格式支持图片理解、视频理解与视觉推理。本文带你本地运行这个多模态大模型一次讲透bf16 原精度加载、8bit 量化加载、多卡推理3 种方式的完整指南从下载文件到第一次看到推理结果全程可复现 一、为什么选 InternVL3_5-4B-HF4B 级多模态大模型有多能打InternVL3_5-4B-HF 采用经典的ViT – MLP – LLM架构由三个核心部分组成组成规格说明视觉编码器InternViT-300M0.3B24 层输入 448×448输出 256 个视觉 token语言模型Qwen3-4B4.4B36 层32 个头最长 40960 token 上下文总参数4.7B开源多模态大模型中的轻量旗舰级它的亮点在于HF 标准格式可直接用 transformers 的AutoModelForImageTextToText加载不用写复杂的自定义代码bf16 原生精度config.json 中torch_dtype为bfloat16训练即推理同精度Apache-2.0 协议个人与商用场景均可放心使用4B 体量消费级显卡就能本地运行是入门多模态大模型部署的首选。 同系列还有 1B / 8B / 14B / 30B-A3B 等尺寸本文的 3 种加载方式对全系列通用。二、本地运行前的准备环境与模型文件2.1 一键安装运行依赖环境要求不高一条命令装好核心依赖pip install transformers4.52.1 torch accelerate bitsandbytestransformers ≥ 4.52.1是官方硬性要求推荐直接用 4.55本模型打包版本即 4.55.0bitsandbytes是 8bit 量化加载的关键accelerate负责多卡场景的权重自动分配若用到了use_flash_attnTrue还需额外安装 FlashAttention-2。2.2 下载模型文件国内可直接克隆镜像仓库到本地git clone https://gitcode.com/hf_mirrors/OpenGVLab/InternVL3_5-4B-HF克隆完成后目录里的核心文件各有分工文件作用config.json模型结构配置视觉/语言双编码器参数model-00001-of-00002.safetensorsmodel-00002-of-00002.safetensors权重分片bf16约 9.5 GBmodel.safetensors.index.json权重分片索引加载时自动拼接tokenizer.json/tokenizer_config.json文本分词器preprocessor_config.json/video_preprocessor_config.json图像/视频预处理配置chat_template.jinja对话模板多轮对话格式由它决定examples/image1.jpg官方示例图片可当第一张测试图2.3 显卡显存需求预估选型前先对号入座4.7B 参数的多模态大模型三种方式的显存占用差异明显加载方式权重占用建议显存适合显卡举例bf16 原精度约 9.5 GB≥ 16 GBRTX 3090 / 40908bit 量化约 5 GB≥ 10 GBRTX 3060 12G / 4070多卡推理按卡数分摊单卡放不下时2 × 任意 ≥ 12 GB 显卡 显存 权重 视觉编码激活 KV Cache长对话和图片越多占得越多表中已预留余量。三、方式一bf16 原精度加载精度优先适合 16 GB 显存的单卡保持模型出厂精度多模态推理效果最好。核心就是在加载时指定torch_dtypetorch.bfloat16import torch from transformers import AutoTokenizer, AutoModelForImageTextToText path ./InternVL3_5-4B-HF # 本地克隆目录 model AutoModelForImageTextToText.from_pretrained( path, torch_dtypetorch.bfloat16, low_cpu_mem_usageTrue, use_flash_attnTrue, trust_remote_codeTrue ).eval().cuda()三个参数值得注意low_cpu_mem_usageTrue先加载到 CPU 再上卡避免峰值内存翻倍use_flash_attnTrue大幅降低长序列注意力显存没有 FlashAttention 环境可去掉此行.cuda()显存充裕的单卡直接整模型上卡。四、方式二8bit 量化加载显存紧张首选显存只有 10 GB 左右开启bitsandbytes 8bit 量化权重从 bf16 压到 8 位显存占用直降一半以上多模态理解能力损失很小import torch from transformers import AutoModelForImageTextToText path ./InternVL3_5-4B-HF model AutoModelForImageTextToText.from_pretrained( path, torch_dtypetorch.bfloat16, load_in_8bitTrue, # 开启 8bit 量化 low_cpu_mem_usageTrue, use_flash_attnTrue, trust_remote_codeTrue ).eval()两个新手常见坑不要再手动调用.cuda()量化模块会自动把权重放到 GPU 上8bit 依赖bitsandbytes务必确认已安装且是 CUDA 版本。五、方式三多卡推理单卡放不下时当模型权重超出单卡显存用device_mapauto让 accelerate 自动把视觉编码器、语言模型等模块切分到多张 GPU 上import torch from transformers import AutoModelForImageTextToText path ./InternVL3_5-4B-HF model AutoModelForImageTextToText.from_pretrained( path, torch_dtypetorch.bfloat16, low_cpu_mem_usageTrue, use_flash_attnTrue, trust_remote_codeTrue, device_mapauto # 权重自动分配到多张 GPU ).eval()多卡推理的实用提示4B 模型双卡绰绰有余官方同系列 38B 版本才需要 2 × A100可见 4B 的本地友好度分配情况可在加载日志里看到每层落在哪张卡也可用nvidia-smi实时验证多卡间需保证 PCIe/NVLink 带宽正常跨节点场景延迟会明显增加。六、第一次多模态推理让模型看图说话模型加载完成后用项目自带的示例图片 examples/image1.jpg 跑通第一次推理from transformers import AutoProcessor from PIL import Image processor AutoProcessor.from_pretrained(path, trust_remote_codeTrue) image Image.open(examples/image1.jpg) messages [{role: user, content: [ {type: image, image: image}, {type: text, text: 请描述这张图片里的动物。}]}] inputs processor.apply_chat_template( messages, tokenizeTrue, add_generation_promptTrue, return_dictTrue, return_tensorspt).to(model.device) out model.generate(**inputs, max_new_tokens256) print(processor.decode(out[0][inputs[input_ids].shape[-1]:]))运行后你会看到模型准确认出这是一只趴在木架上、望着镜头的小熊猫 恭喜InternVL3.5-4B 多模态推理已跑通七、进阶小贴士3 个高频用法开启 Thinking 思考模式在 system 消息中设置官方 R1 系统提示词让模型先think再作答推荐搭配do_sampleTrue、temperature0.6可显著减少重复输出数学/图表推理题表现提升明显视频理解项目examples/下还提供red-panda.mp4示例视频InternVL3.5 原生支持视频帧输入加载方式与图片一致高吞吐服务部署本地验证通过后生产环境可切换到 LMDeploy 或 vLLM 推理引擎一条命令即可暴露 OpenAI 兼容的 API 服务吞吐量远超纯 transformers。八、本地运行常见问题 FAQQ1显存不足直接 OOM 怎么办依次尝试① 改用 8bit 量化加载②device_mapauto多卡切分③ 调小图片动态分辨率和max_new_tokens。Q2报trust_remote_code或模型加载相关报错先升级 transformers 到 4.52.1 以上推荐 4.55再确认用本地路径而非远程仓库名加载。Q3为什么加载后速度偏慢检查是否装上了 FlashAttention-2 并开启了use_flash_attnTrue4090 等支持 FP16 的卡还可考虑改用torch.float16。Q4没有独立显卡能跑吗纯 CPU 推理 4.7B 多模态模型耗时过长仅建议用于流程验证正式使用建议 8 GB 以上显存的独显。九、总结3 种方式怎么选你的场景推荐方式一句话理由16 GB 显存单卡追求效果bf16 原精度出厂精度多模态理解最佳8–12 GB 显存够用就行8bit 量化显存减半体验几乎无损单卡放不下 / 想留长上下文多卡device_mapauto权重自动分卡部署最省心InternVL3_5-4B-HF 作为 4B 级的开源多模态大模型把本地跑通视觉推理的门槛降到了消费级显卡。按本文的三步流程——装依赖、下文件、选加载方式——你最快 10 分钟就能拥有自己的多模态推理服务快去试试吧 ✨【免费下载链接】InternVL3_5-4B-HF项目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/InternVL3_5-4B-HF创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考