尧图网站建设 
MinerU 在瀚博 VastAI 加速卡上的部署与使用vLLM 后端 VLM 推理实战指南【免费下载链接】MinerUTransforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.项目地址: https://gitcode.com/GitHub_Trending/mi/MinerU本文围绕 MinerU 官方加速卡适配指南中的瀚博VastAI章节展开讲解如何在 VastAI 加速卡环境上基于vllm_vacc基础镜像完成 MinerU 的安装与运行覆盖vlm-engine与vlm-http-client两种 VLM 推理模式的完整命令、关键启动参数--enforce_eager、--tensor-parallel-size等的来源与传递机制以及各解析后端的支持情况。读完本文你可以按步骤在 VastAI 平台上搭建一套可用的 MinerU 文档解析环境并理解哪些后端可选、哪些必须避开。1. 适用场景与支持边界VastAI瀚博半导体加速卡对 MinerU 的支持有明确边界仅支持vlm-engine和vlm-http-client两种 VLM 推理加速形式pipeline、hybrid-engine、hybrid-http-client等后端均不可用。这一点直接决定了在 VastAI 平台上只能走 VLM视觉语言模型解析路线。官方文档给出的完整支持矩阵如下转写自 VastAI.md使用场景解析后端支持情况命令行工具minerupipeline命令行工具mineruhybrid-http-client命令行工具mineruhybrid-engine命令行工具mineruvlm-engine命令行工具mineruvlm-http-clientFastAPI 服务mineru-apipipelineFastAPI 服务mineru-apihybrid-http-clientFastAPI 服务mineru-apihybrid-engineFastAPI 服务mineru-apivlm-engineFastAPI 服务mineru-apivlm-http-clientGradio 界面mineru-gradiopipeline / hybrid 系列Gradio 界面mineru-gradiovlm-engine / vlm-http-clientOpenAI Server 服务mineru-openai-server—图例说明 支持运行较稳定精度与 NVIDIA GPU 基本一致 支持但较不稳定某些场景下可能出现异常或精度差异 不支持无法运行或精度存在较大差异。此外vlm-engine模式下 VastAI 仅支持 vLLM 后端。2. 参考测试平台官方指南列出了测试所用的平台信息可作为部署时的环境参照os: Ubuntu-22.04.3-LTS-x86_64 cpu: Hygon C86-4G gpu: VA16 / VA1L / VA10L torch: 2.8.0cpu torch-vacc: 1.3.3.777 vllm: 0.11.1.dev0gb8b302cde.d20251030.cpu vllm-vacc: 0.11.0.777 driver: 00.25.12.30 d3_3_v2_9_a3_1 a76bf37 20251230 docker: 28.1.1可以看出VastAI 路线的核心软件栈是瀚博自研的torch-vacc与vllm-vaccvLLM 的瀚博适配版本而非标准 CUDA 版 PyTorch/vLLM。这意味着整套环境必须运行在官方提供的基础镜像之内自行安装标准版 vLLM 是无法工作的。3. 环境准备基础镜像与容器3.1 获取并启动 vllm_vacc 基础镜像第一步是拉取vllm_vacc基础镜像并启动容器。该镜像内已包含torch/vllm等相关依赖后续只需在其中安装 MinerU 即可sudo docker pull harbor.vastaitech.com/ai_deliver/vllm_vacc:VVI-25.12.SP2启动容器时需要注意几个关键参数与 VastAI.md 中的原始命令一致sudo docker run -it \ --privilegedtrue \ --shm-size256g \ --name vllm_service \ --ipchost \ --networkhost \ harbor.vastaitech.com/ai_deliver/vllm_vacc:VVI-25.12.SP2 bash各参数含义--privilegedtrue赋予容器特权模式是加速卡设备访问的常见前提--shm-size256g官方文档特别强调需指定适当的--shm-size虚拟内存多卡张量并行--tensor-parallel-size 2下进程间共享内存不足会导致 vLLM 启动失败或运行不稳定--ipchost复用宿主机 IPC 命名空间配合大共享内存使用--networkhost使用宿主机网络便于vlm-http-client模式通过http://127.0.0.1:8090直连本机 vLLM 服务。3.2 指定可见计算卡与 NVIDIA 硬件下使用CUDA_VISIBLE_DEVICES类似在 VastAI 硬件上可以用VACC_VISIBLE_DEVICES环境变量指定可见计算卡 ID例如在docker run或docker exec中追加-e VACC_VISIBLE_DEVICES0,1,2,3从源码结构看MinerU 仓库内部对可见设备环境变量的分支只区分了 NPUASCEND_RT_VISIBLE_DEVICES与其他设备CUDA_VISIBLE_DEVICES见 router.py 中的get_local_device_visible_env_name。VACC_VISIBLE_DEVICES是瀚博运行时/驱动层面的设备可见性控制机制不在 MinerU 源码内做特殊处理而是在容器启动阶段由厂商环境生效。3.3 容器内安装 MinerU进入容器后可按官方安装流程参见 README_zh-CN.md 的安装 MinerU一节安装 MinerU。指南给出的两种方式是源码安装与 pip 安装# 进入容器 sudo docker exec -it vllm_service bash # 可选 pypi 源 # https://mirrors.163.com/pypi/simple/ # https://mirrors.aliyun.com/pypi/simple/ # https://pypi.mirrors.ustc.edu.cn/simple/ # https://pypi.tuna.tsinghua.edu.cn/simple/ # https://mirror.baidu.com/pypi/simple # 方式一通过源码安装 MinerU git clone https://github.com/opendatalab/MinerU.git git checkout 8c4b3ef3a20b11ddac9903f25124d24ea82639b5 pip install -e .[core] -i https://mirrors.aliyun.com/pypi/simple # 方式二通过 pip 安装 MinerU pip install -U mineru[core]2.7.0 -i https://mirrors.aliyun.com/pypi/simple适用前提需要留意指南注明截至 2025/12/31VastAI 已支持 MinerU 至最新版本 2.7.0对应 master 分支提交8c4b3ef3。当前仓库版本已演进到 3.4.4见 version.py因此在 VastAI 平台上验证过的稳定版本是 2.7.0 及对应提交直接使用更新版本时建议先自行验证。4. 功能一vlm-engine 一体化解析vlm-engine模式下MinerU 在进程内直接拉起 vLLM 引擎完成 VLM 推理一条命令即可完成解析。命令中需要模型准备下载 MinerU2.5 VLM 模型模型获取方式参见 model_source.md并设置模型源export MINERU_MODEL_SOURCEmodelscope # step1以 vlm-engine 方式启动 MinerU 解析任务 mineru -p image.png \ -o ./output \ -b vlm-engine \ --http-timeout 1200 \ --tensor-parallel-size 2 \ --enforce_eager \ --trust-remote-code \ --max-model-len 16384参数说明-b vlm-engine指定使用 VLM 后端、引擎进程内运行模式--tensor-parallel-size 2vLLM 张量并行度跨 2 张加速卡切分模型因此要求VACC_VISIBLE_DEVICES中至少有 2 张可见卡--enforce_eager必须追加。官方文档明确指出注意在执行任意与 vllm 相关命令需追加--enforce_eager参数即在瀚博平台上关闭 CUDA Graph 类优化改用 eager 执行这是 VastAI 适配的硬性要求--trust-remote-code允许执行模型仓库中的自定义代码MinerU2.5 模型为自定义实现需要此项--max-model-len 16384限制模型最大上下文长度控制显存/计算卡内存占用--http-timeout 1200VLM 请求超时时间秒。这些以--开头的引擎参数为什么能被 MinerU 命令行接受从源码看MinerU 的 CLI 通过 cli_parser.py 中的parse_unknown_args把所有未显式声明的--xxx参数解析为键值对自动把-归一化为_再经由 FastAPI 服务入口 fast_api.py 的main()中arg_parse(ctx)拆分为服务配置与模型配置两部分最终透传给 vLLM 引擎初始化。因此--tensor-parallel-size、--enforce_eager、--max-model-len这类参数本质上是原样转发给 vLLM 的构造参数这也解释了为什么不同加速卡平台的适配文档都只需给出追加哪些 vLLM 参数而不需要修改 MinerU 本身。5. 功能二vlm-http-client 分离式部署vlm-http-client模式把 VLM 推理与解析流程解耦先用 vLLM 独立启动一个 API Server再由 MinerU 以 HTTP 客户端身份调用它。这种模式便于把 vLLM 服务长期驻留、多任务复用也便于在 FastAPI 服务mineru-api场景下集中管理推理资源。step 1启动 vLLM API Servervllm serve /root/.cache/modelscope/hub/models/OpenDataLab/MinerU2.5-2509-1.2B \ --tensor-parallel-size 2 \ --trust-remote-code \ --enforce_eager \ --port 8090 \ --max-model-len 16384 \ --served-model-name MinerU2.5-2509-1.2Bstep 2以vlm-http-client方式启动 MinerU 解析任务mineru -p demo/pdfs/demo1.pdf \ -o ./output \ -b vlm-http-client \ -u http://127.0.0.1:8090 \ --http-timeout 1200要点vllm serve指向本地已下载的 MinerU2.5-2509-1.2B 模型路径示例中使用 modelscope 缓存目录--served-model-name指定对外服务名--port 8090指定监听端口MinerU 侧通过-u http://127.0.0.1:8090指定服务端点--http-timeout 1200控制单次 VLM 请求的超时两种模式同样都必须携带--enforce_eager由于容器使用--networkhost127.0.0.1:8090在容器内外均可直达简化了服务发现。需要强调的边界pipeline与hybrid-*后端在 VastAI 卡上均标记为 不可用因为它们依赖通用 CUDA 生态下的检测/识别/表格模型而非 vLLM-vacc 加速链路。如果你的工作流包含 pipeline 模型需要另行评估适配情况不能直接套用本指南。6. 部署核对清单结合官方文档与仓库实现在 VastAI 平台上部署 MinerU 时可逐项核对镜像使用harbor.vastaitech.com/ai_deliver/vllm_vacc:VVI-25.12.SP2确认torch-vacc/vllm-vacc已在镜像内不要手动覆盖为 CUDA 版依赖容器--privilegedtrue --shm-size256g --ipchost --networkhost均不可省略--shm-size需按卡数与并行度留足余量设备用VACC_VISIBLE_DEVICES控制可见卡保证数量不少于--tensor-parallel-size取值版本MinerU 以 2.7.0或提交8c4b3ef3为已验证版本升级新版本前先做回归验证后端只使用-b vlm-engine或-b vlm-http-client参数所有 vLLM 相关命令一律追加--enforce_eager并保留--trust-remote-code与--max-model-len 16384可按显存情况调整。说明本文内容以当前仓库中的 VastAI.md 文档为准相关实现参考了 cli_parser.py、fast_api.py 与 router.py 中的参数解析与设备识别逻辑设备可见性、--enforce_eager的必要性等厂商约束以瀚博官方文档表述为准。【免费下载链接】MinerUTransforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.项目地址: https://gitcode.com/GitHub_Trending/mi/MinerU创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 MinerU 在瀚博 VastAI 加速卡上的部署与使用：vLLM 后端 VLM 推理实战指南
MinerU 在瀚博 VastAI 加速卡上的部署与使用vLLM 后端 VLM 推理实战指南【免费下载链接】MinerUTransforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.项目地址: https://gitcode.com/GitHub_Trending/mi/MinerU本文围绕 MinerU 官方加速卡适配指南中的瀚博VastAI章节展开讲解如何在 VastAI 加速卡环境上基于vllm_vacc基础镜像完成 MinerU 的安装与运行覆盖vlm-engine与vlm-http-client两种 VLM 推理模式的完整命令、关键启动参数--enforce_eager、--tensor-parallel-size等的来源与传递机制以及各解析后端的支持情况。读完本文你可以按步骤在 VastAI 平台上搭建一套可用的 MinerU 文档解析环境并理解哪些后端可选、哪些必须避开。1. 适用场景与支持边界VastAI瀚博半导体加速卡对 MinerU 的支持有明确边界仅支持vlm-engine和vlm-http-client两种 VLM 推理加速形式pipeline、hybrid-engine、hybrid-http-client等后端均不可用。这一点直接决定了在 VastAI 平台上只能走 VLM视觉语言模型解析路线。官方文档给出的完整支持矩阵如下转写自 VastAI.md使用场景解析后端支持情况命令行工具minerupipeline命令行工具mineruhybrid-http-client命令行工具mineruhybrid-engine命令行工具mineruvlm-engine命令行工具mineruvlm-http-clientFastAPI 服务mineru-apipipelineFastAPI 服务mineru-apihybrid-http-clientFastAPI 服务mineru-apihybrid-engineFastAPI 服务mineru-apivlm-engineFastAPI 服务mineru-apivlm-http-clientGradio 界面mineru-gradiopipeline / hybrid 系列Gradio 界面mineru-gradiovlm-engine / vlm-http-clientOpenAI Server 服务mineru-openai-server—图例说明 支持运行较稳定精度与 NVIDIA GPU 基本一致 支持但较不稳定某些场景下可能出现异常或精度差异 不支持无法运行或精度存在较大差异。此外vlm-engine模式下 VastAI 仅支持 vLLM 后端。2. 参考测试平台官方指南列出了测试所用的平台信息可作为部署时的环境参照os: Ubuntu-22.04.3-LTS-x86_64 cpu: Hygon C86-4G gpu: VA16 / VA1L / VA10L torch: 2.8.0cpu torch-vacc: 1.3.3.777 vllm: 0.11.1.dev0gb8b302cde.d20251030.cpu vllm-vacc: 0.11.0.777 driver: 00.25.12.30 d3_3_v2_9_a3_1 a76bf37 20251230 docker: 28.1.1可以看出VastAI 路线的核心软件栈是瀚博自研的torch-vacc与vllm-vaccvLLM 的瀚博适配版本而非标准 CUDA 版 PyTorch/vLLM。这意味着整套环境必须运行在官方提供的基础镜像之内自行安装标准版 vLLM 是无法工作的。3. 环境准备基础镜像与容器3.1 获取并启动 vllm_vacc 基础镜像第一步是拉取vllm_vacc基础镜像并启动容器。该镜像内已包含torch/vllm等相关依赖后续只需在其中安装 MinerU 即可sudo docker pull harbor.vastaitech.com/ai_deliver/vllm_vacc:VVI-25.12.SP2启动容器时需要注意几个关键参数与 VastAI.md 中的原始命令一致sudo docker run -it \ --privilegedtrue \ --shm-size256g \ --name vllm_service \ --ipchost \ --networkhost \ harbor.vastaitech.com/ai_deliver/vllm_vacc:VVI-25.12.SP2 bash各参数含义--privilegedtrue赋予容器特权模式是加速卡设备访问的常见前提--shm-size256g官方文档特别强调需指定适当的--shm-size虚拟内存多卡张量并行--tensor-parallel-size 2下进程间共享内存不足会导致 vLLM 启动失败或运行不稳定--ipchost复用宿主机 IPC 命名空间配合大共享内存使用--networkhost使用宿主机网络便于vlm-http-client模式通过http://127.0.0.1:8090直连本机 vLLM 服务。3.2 指定可见计算卡与 NVIDIA 硬件下使用CUDA_VISIBLE_DEVICES类似在 VastAI 硬件上可以用VACC_VISIBLE_DEVICES环境变量指定可见计算卡 ID例如在docker run或docker exec中追加-e VACC_VISIBLE_DEVICES0,1,2,3从源码结构看MinerU 仓库内部对可见设备环境变量的分支只区分了 NPUASCEND_RT_VISIBLE_DEVICES与其他设备CUDA_VISIBLE_DEVICES见 router.py 中的get_local_device_visible_env_name。VACC_VISIBLE_DEVICES是瀚博运行时/驱动层面的设备可见性控制机制不在 MinerU 源码内做特殊处理而是在容器启动阶段由厂商环境生效。3.3 容器内安装 MinerU进入容器后可按官方安装流程参见 README_zh-CN.md 的安装 MinerU一节安装 MinerU。指南给出的两种方式是源码安装与 pip 安装# 进入容器 sudo docker exec -it vllm_service bash # 可选 pypi 源 # https://mirrors.163.com/pypi/simple/ # https://mirrors.aliyun.com/pypi/simple/ # https://pypi.mirrors.ustc.edu.cn/simple/ # https://pypi.tuna.tsinghua.edu.cn/simple/ # https://mirror.baidu.com/pypi/simple # 方式一通过源码安装 MinerU git clone https://github.com/opendatalab/MinerU.git git checkout 8c4b3ef3a20b11ddac9903f25124d24ea82639b5 pip install -e .[core] -i https://mirrors.aliyun.com/pypi/simple # 方式二通过 pip 安装 MinerU pip install -U mineru[core]2.7.0 -i https://mirrors.aliyun.com/pypi/simple适用前提需要留意指南注明截至 2025/12/31VastAI 已支持 MinerU 至最新版本 2.7.0对应 master 分支提交8c4b3ef3。当前仓库版本已演进到 3.4.4见 version.py因此在 VastAI 平台上验证过的稳定版本是 2.7.0 及对应提交直接使用更新版本时建议先自行验证。4. 功能一vlm-engine 一体化解析vlm-engine模式下MinerU 在进程内直接拉起 vLLM 引擎完成 VLM 推理一条命令即可完成解析。命令中需要模型准备下载 MinerU2.5 VLM 模型模型获取方式参见 model_source.md并设置模型源export MINERU_MODEL_SOURCEmodelscope # step1以 vlm-engine 方式启动 MinerU 解析任务 mineru -p image.png \ -o ./output \ -b vlm-engine \ --http-timeout 1200 \ --tensor-parallel-size 2 \ --enforce_eager \ --trust-remote-code \ --max-model-len 16384参数说明-b vlm-engine指定使用 VLM 后端、引擎进程内运行模式--tensor-parallel-size 2vLLM 张量并行度跨 2 张加速卡切分模型因此要求VACC_VISIBLE_DEVICES中至少有 2 张可见卡--enforce_eager必须追加。官方文档明确指出注意在执行任意与 vllm 相关命令需追加--enforce_eager参数即在瀚博平台上关闭 CUDA Graph 类优化改用 eager 执行这是 VastAI 适配的硬性要求--trust-remote-code允许执行模型仓库中的自定义代码MinerU2.5 模型为自定义实现需要此项--max-model-len 16384限制模型最大上下文长度控制显存/计算卡内存占用--http-timeout 1200VLM 请求超时时间秒。这些以--开头的引擎参数为什么能被 MinerU 命令行接受从源码看MinerU 的 CLI 通过 cli_parser.py 中的parse_unknown_args把所有未显式声明的--xxx参数解析为键值对自动把-归一化为_再经由 FastAPI 服务入口 fast_api.py 的main()中arg_parse(ctx)拆分为服务配置与模型配置两部分最终透传给 vLLM 引擎初始化。因此--tensor-parallel-size、--enforce_eager、--max-model-len这类参数本质上是原样转发给 vLLM 的构造参数这也解释了为什么不同加速卡平台的适配文档都只需给出追加哪些 vLLM 参数而不需要修改 MinerU 本身。5. 功能二vlm-http-client 分离式部署vlm-http-client模式把 VLM 推理与解析流程解耦先用 vLLM 独立启动一个 API Server再由 MinerU 以 HTTP 客户端身份调用它。这种模式便于把 vLLM 服务长期驻留、多任务复用也便于在 FastAPI 服务mineru-api场景下集中管理推理资源。step 1启动 vLLM API Servervllm serve /root/.cache/modelscope/hub/models/OpenDataLab/MinerU2.5-2509-1.2B \ --tensor-parallel-size 2 \ --trust-remote-code \ --enforce_eager \ --port 8090 \ --max-model-len 16384 \ --served-model-name MinerU2.5-2509-1.2Bstep 2以vlm-http-client方式启动 MinerU 解析任务mineru -p demo/pdfs/demo1.pdf \ -o ./output \ -b vlm-http-client \ -u http://127.0.0.1:8090 \ --http-timeout 1200要点vllm serve指向本地已下载的 MinerU2.5-2509-1.2B 模型路径示例中使用 modelscope 缓存目录--served-model-name指定对外服务名--port 8090指定监听端口MinerU 侧通过-u http://127.0.0.1:8090指定服务端点--http-timeout 1200控制单次 VLM 请求的超时两种模式同样都必须携带--enforce_eager由于容器使用--networkhost127.0.0.1:8090在容器内外均可直达简化了服务发现。需要强调的边界pipeline与hybrid-*后端在 VastAI 卡上均标记为 不可用因为它们依赖通用 CUDA 生态下的检测/识别/表格模型而非 vLLM-vacc 加速链路。如果你的工作流包含 pipeline 模型需要另行评估适配情况不能直接套用本指南。6. 部署核对清单结合官方文档与仓库实现在 VastAI 平台上部署 MinerU 时可逐项核对镜像使用harbor.vastaitech.com/ai_deliver/vllm_vacc:VVI-25.12.SP2确认torch-vacc/vllm-vacc已在镜像内不要手动覆盖为 CUDA 版依赖容器--privilegedtrue --shm-size256g --ipchost --networkhost均不可省略--shm-size需按卡数与并行度留足余量设备用VACC_VISIBLE_DEVICES控制可见卡保证数量不少于--tensor-parallel-size取值版本MinerU 以 2.7.0或提交8c4b3ef3为已验证版本升级新版本前先做回归验证后端只使用-b vlm-engine或-b vlm-http-client参数所有 vLLM 相关命令一律追加--enforce_eager并保留--trust-remote-code与--max-model-len 16384可按显存情况调整。说明本文内容以当前仓库中的 VastAI.md 文档为准相关实现参考了 cli_parser.py、fast_api.py 与 router.py 中的参数解析与设备识别逻辑设备可见性、--enforce_eager的必要性等厂商约束以瀚博官方文档表述为准。【免费下载链接】MinerUTransforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.项目地址: https://gitcode.com/GitHub_Trending/mi/MinerU创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考