尧图网站建设 
MiniCPM5-1B 纯 CPU 部署实战ArcLight 源码构建、GGUF 量化与 NUMA 多核推理指南【免费下载链接】MiniCPMMiniCPM5: SOTA on-device LLMs, small yet powerful.项目地址: https://gitcode.com/GitHub_Trending/mi/MiniCPM本文是 MiniCPM5 部署体系 中minicpm5-deploy-arclight技能SKILL.md及其人类可读对照版 cookbookdocs/deployment/arclight.md的完整展开。面向需要在无 GPU 服务器、统一内存系统或 x86/ARM 多核 CPU 机器上本地运行 MiniCPM5-1B 的开发者读完本文你将掌握ArcLight 从源码编译安装、为nnml后端准备合规的 GGUF 权重、用al-gen/al-chat/al-ppl完成生成、对话与困惑度评测以及多 NUMA 节点下的张量并行调参与内存缓冲区的配置方法。一、ArcLight 是什么统一内存系统上的轻量推理框架ArcLight 是一个使用 C/C 编写的轻量级 LLM 推理框架专为统一内存unified-memory系统设计面向高性能 GPU 服务器之外的推理场景。根据 docs/deployment/arclight.md 的说明其当前 v1.0 版本的优化重点是多核 CPU 平台与跨 NUMA 张量并行tensor parallelism同时已支持 ARM 与 x86 平台的 CPU 后端并具备基本的 Windows 构建支持。在 MiniCPM5 的部署生态中ArcLight 的定位十分明确。README 的部署矩阵见 README.md将推理后端划分为 GPU 服务vLLM / SGLang、Python 本地推理Transformers、GGUF 本地运行时llama.cpp / Ollama / LM Studio、Apple Silicon 原生MLX以及ArcLight——即GGUF 本地端侧、CPU、桌面与服务器路径。相比 llama.cppArcLight 的价值在于它为多核 CPU 与 NUMA 架构提供了更深的定制能力。当前仓库代码中包含的模型定义包括MiniCPM5-1B、Qwen3、Llama2三个家族其中 MiniCPM5-1B 是 MiniCPM5 系列的首个模型详见 README.md 的模型简介面向本地助手、编码 Agent、工具调用与推理场景的 1B 稠密 Transformer。二、前置输入六个关键变量在动手之前先确定以下运行时变量。SKILL 文档给出了如下速查表变量示例默认值MODEL/path/to/MiniCPM5-1B-Q4_0.gguf必填PROMPTHello!Hello!THREADS4根据目标 CPU 自行选择NUMA_MODEnone或tp首次运行建议noneNODES1、2、4与NUMA_MODEnone搭配时为1MAX_GEN256256其中MODEL是唯一必填项NUMA_MODE与NODES强关联规则详见后文第五节THREADS的选择直接影响吞吐建议结合机器核心数与 NUMA 布局决定。三、从源码构建 ArcLightArcLight 的推荐路径是从源码构建然后使用al-gen、al-chat、al-ppl三个命令行工具运行 GGUF 模型。3.1 Linux / x86 / ARM 构建git clone https://github.com/OpenBMB/ArcLight.git cd ArcLight cmake -B build -DARCLIGHT_BACKENDAUTO cmake --build build --config Release -j 32两条命令的含义cmake -B build在build目录生成构建系统-DARCLIGHT_BACKEND决定启用哪套架构相关后端代码cmake --build build --config Release -j 32以 Release 配置并行编译-j 32为并行任务数可按机器核数调整。构建要求机器具备C17 能力的工具链Linux 上通常为 GCC/G。3.2 选择ARCLIGHT_BACKEND默认使用AUTO仅在有明确需求时才显式指定取值含义AUTO根据目标 CPU 架构自动选择后端推荐使用X86强制启用 x86 后端NEON强制启用 ARM NEON 后端NONE构建时不包含任何架构相关的后端代码3.3 Windows 构建补充cookbook 额外给出了 Windows 下的 Visual Studio 构建方式SKILL 未覆盖作为补充信息git clone https://github.com/OpenBMB/ArcLight.git cd ArcLight cmake -B build -G Visual Studio 18 2026 cmake --build build --config Release -j 32Windows 下可执行文件会输出到 CMake 配置的构建输出目录Visual Studio 构建通常在build\bin下。四、准备 GGUF 模型nnml 后端的量化兼容性ArcLight 使用 llama.cpp 生态的GGUF检查点格式。关键在于当前nnml后端只内置了f32/f16/q4_0/q8_0/q6_K/q8_K这些张量类型的 kernel见 cookbook 引用的nnml/src/ops/types.cpp——Q4_K_M不在支持列表内无法加载。这一限制与官方发布物存在错位openbmb/MiniCPM5-1B-GGUF仓库发布的是F16、Q8_0和Q4_K_M并不包含Q4_0。因此首次验证优先使用官方发布的Q8_0即openbmb/MiniCPM5-1B-GGUF仓库中的MiniCPM5-1B-Q8_0.gguf想要 q4_0必须自己从 F16 权重量化得到。4.1 自行量化 Q4_0huggingface-cli download openbmb/MiniCPM5-1B-GGUF MiniCPM5-1B-F16.gguf --local-dir . llama-quantize ./MiniCPM5-1B-F16.gguf ./MiniCPM5-1B-Q4_0.gguf Q4_0第一步下载 F16 原始权重到当前目录第二步调用 llama.cpp 工具链中的llama-quantize以Q4_0方案量化输出MiniCPM5-1B-Q4_0.gguf。模型选择建议首次测试优先选用 MiniCPM5-1B 或其他小型 GGUF 模型推荐自产Q4_0体积最小或官方Q8_0与 F16 质量几乎无差。同时务必确认模型来自受支持家族MiniCPM5、Qwen3、Llama2。五、运行推理al-gen / al-chat / al-pplArcLight 提供三个命令行应用构建后位于build目录下Linux 上以./build/xxx形式运行工具用途al-gen一次性生成one-shot generational-chat交互式对话interactive chatal-ppl单段文本的困惑度评测perplexity5.1 一次性生成al-gen./build/al-gen \ --model ${MODEL} \ --prompt ${PROMPT} \ --numa none --nodes 1 \ --threads ${THREADS} \ --max_length 4096 \ --max_gen ${MAX_GEN}其中--max_length 4096为上下文总长度上限--max_gen ${MAX_GEN}默认 256为本次生成的最大新 token 数。cookbook 还提供了中文 prompt 的等价示例只需替换--prompt为中文文本即可无需其他改动。5.2 交互式对话al-chat./build/al-chat \ --model ${MODEL} \ --numa none --nodes 1 \ --threads ${THREADS} \ --max_length 4096 \ --max_gen ${MAX_GEN}如需为首轮对话预置一个 promptseed the first turn./build/al-chat \ --model ${MODEL} \ --prompt ${PROMPT} \ --numa none --nodes 1 \ --threads ${THREADS}cookbook 补充了交互细节生成过程中按CtrlC中断当前回复在等待输入时按CtrlC则退出并打印性能画像performance profile。5.3 困惑度评测al-ppl./build/al-ppl \ --model ${MODEL} \ --prompt Good morning, Miss Lee! \ --numa none --nodes 1 \ --threads ${THREADS}程序会打印被评测文本以及一行perplexity: ...形式的最终困惑度结果可用于量化对比不同量化等级如 Q4_0 与 Q8_0的质量损失。六、多核 CPU 与 NUMAnone / tp / pp 三种模式ArcLight 支持单节点推理与跨节点张量并行。SKILL 与 cookbook 共同定义了三种模式模式必带参数使用场景--numa none--nodes 1单节点模式。先从这种模式开始用于正确性验证与小模型--numa tp--nodes N其中N 1跨 NUMA 张量并行用于多核 CPU 机器提升吞吐--numa pp尚未就绪预留的流水线并行当前版本未实现6.1 先从单节点模式验证正确性./build/al-gen \ --model ${MODEL} \ --prompt ${PROMPT} \ --numa none --nodes 1 \ --threads ${THREADS}6.2 多核机器启用跨 NUMA 张量并行./build/al-gen \ --model ${MODEL} \ --prompt ${PROMPT} \ --numa tp --nodes ${NODES} \ --threads ${THREADS}6.3 NUMA 使用规则务必遵守--numa none要求--nodes 1二者必须严格配对--numa tp要求--nodes N且N 1当前版本NODES应为 2 的幂1、2、4、8…THREADS的选择要保证能被NODES整除例如--nodes 4 --threads 32即每节点 8 线程--numa pp为未来流水线并行预留当前未实现。cookbook 给出了 4 节点多核机器的完整示例./build/al-gen \ --model /path/to/MiniCPM5-1B-Q4_0.gguf \ --prompt Hello! \ --numa tp --nodes 4 \ --threads 32推荐设置速查来自 cookbook场景建议配置首次运行 / 小模型--numa none --nodes 1 --threads 单节点核心数多核 CPU 吞吐--numa tp --nodes 2 的幂 --threads 总线程数更长上下文增大--max_length与--kv_gb更大模型增大--w_gb若分配失败再调--a_gb与--work_gb七、可选内存缓冲区w / a / kv / work当内存分配失败或模型较大时可以手动指定四类缓冲区大小./build/al-gen \ --model ${MODEL} \ --prompt ${PROMPT} \ --numa none --nodes 1 \ --threads ${THREADS} \ --w_gb 4 --a_gb 8 --kv_gb 2 --work_gb 2各参数含义--w_gb权重weight缓冲区大小单位 GB--a_gb激活activation缓冲区大小--kv_gbKV cache 缓冲区大小--work_gb临时工作区workspace大小。调参直觉需要更长的--max_length时增大--kv_gb长上下文意味着更大的 KV cache例如 cookbook 指出--max_length 8192通常需要比--max_length 4096更大的--kv_gb模型更大时增大--w_gb分配仍失败则继续调--a_gb与--work_gb。八、部署验证一次最小冒烟测试部署完成后用下面这条最小命令验证模型确实能正确工作MODEL/path/to/MiniCPM5-1B-Q4_0.gguf THREADS4 ./build/al-gen \ --model ${MODEL} \ --prompt 11? \ --numa none --nodes 1 \ --threads ${THREADS} \ --max_gen 64通过标准回复应包含2或给出一个计算结果为2的简短解释。这条冒烟测试与仓库中 minicpm5-deploy 路由技能里各后端通用的11?健康检查口径一致便于横向对比不同后端。九、常见坑位与排查清单SKILL 文档给出了系统性的排障指引单节点模式程序立即中止使用--numa none --nodes 1。当前实现要求--numa none时--nodes必须严格等于1张量并行模式启动失败使用--numa tp --nodes N且N 1本版本中N应为 2 的幂同时确认--threads足够大且能被--nodes整除流水线并行不可用--numa pp尚未实现请使用--numa none或--numa tp模型加载失败确认检查点是 GGUF 格式且来自受支持模型家族MiniCPM5、Qwen3、Llama2cookbook 补充提示同时确认--w_gb对所选模型是否足够大内存不足OOM增大--w_gb、--a_gb、--kv_gb或--work_gb长上下文通常需要更大的 KV cacheCPU 吞吐偏低检查--threads、NUMA 布局与线程-核心绑定使用--print_binding 1 --print_perf 1输出绑定与性能诊断信息。十、何时不该用 ArcLightArcLight 的适用边界非常明确SKILL 文档给出了当不使用清单需要 CUDA 服务器推理→ 改用 GPU 导向的运行时如 vLLM 或 SGLang需要 Apple Silicon 上的 MLX 推理→ 改用 MLX 部署路径minicpm5-deploy-mlx需要桌面 GUI→ 改用支持 GGUF 的 GUI 运行时如 LM Studio需要流水线并行→ 等待 ArcLight--numa pp支持落地。选型时可以参考 minicpm5-deploy 路由技能当用户场景是GGUF CPU only / 统一内存系统 / 多核多 NUMA 机器时ArcLight 才是与 llama.cpp 并列的候选后端纯 GPU 高吞吐服务、macOS 原生加速等场景应路由到其他专用技能。参考与延伸阅读本文依据的 Agent Skillskills/minicpm5-deploy-arclight/SKILL.md人类可读 cookbookdocs/deployment/arclight.md部署路由技能后端选型决策矩阵skills/minicpm5-deploy/SKILL.mdMiniCPM5 部署矩阵总览README.mdGGUF 格式规范来自 llama.cpp 生态量化工具llama-quantize与下载工具huggingface-cli需按各自官方说明安装【免费下载链接】MiniCPMMiniCPM5: SOTA on-device LLMs, small yet powerful.项目地址: https://gitcode.com/GitHub_Trending/mi/MiniCPM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 MiniCPM5-1B 纯 CPU 部署实战：ArcLight 源码构建、GGUF 量化与 NUMA 多核推理指南
MiniCPM5-1B 纯 CPU 部署实战ArcLight 源码构建、GGUF 量化与 NUMA 多核推理指南【免费下载链接】MiniCPMMiniCPM5: SOTA on-device LLMs, small yet powerful.项目地址: https://gitcode.com/GitHub_Trending/mi/MiniCPM本文是 MiniCPM5 部署体系 中minicpm5-deploy-arclight技能SKILL.md及其人类可读对照版 cookbookdocs/deployment/arclight.md的完整展开。面向需要在无 GPU 服务器、统一内存系统或 x86/ARM 多核 CPU 机器上本地运行 MiniCPM5-1B 的开发者读完本文你将掌握ArcLight 从源码编译安装、为nnml后端准备合规的 GGUF 权重、用al-gen/al-chat/al-ppl完成生成、对话与困惑度评测以及多 NUMA 节点下的张量并行调参与内存缓冲区的配置方法。一、ArcLight 是什么统一内存系统上的轻量推理框架ArcLight 是一个使用 C/C 编写的轻量级 LLM 推理框架专为统一内存unified-memory系统设计面向高性能 GPU 服务器之外的推理场景。根据 docs/deployment/arclight.md 的说明其当前 v1.0 版本的优化重点是多核 CPU 平台与跨 NUMA 张量并行tensor parallelism同时已支持 ARM 与 x86 平台的 CPU 后端并具备基本的 Windows 构建支持。在 MiniCPM5 的部署生态中ArcLight 的定位十分明确。README 的部署矩阵见 README.md将推理后端划分为 GPU 服务vLLM / SGLang、Python 本地推理Transformers、GGUF 本地运行时llama.cpp / Ollama / LM Studio、Apple Silicon 原生MLX以及ArcLight——即GGUF 本地端侧、CPU、桌面与服务器路径。相比 llama.cppArcLight 的价值在于它为多核 CPU 与 NUMA 架构提供了更深的定制能力。当前仓库代码中包含的模型定义包括MiniCPM5-1B、Qwen3、Llama2三个家族其中 MiniCPM5-1B 是 MiniCPM5 系列的首个模型详见 README.md 的模型简介面向本地助手、编码 Agent、工具调用与推理场景的 1B 稠密 Transformer。二、前置输入六个关键变量在动手之前先确定以下运行时变量。SKILL 文档给出了如下速查表变量示例默认值MODEL/path/to/MiniCPM5-1B-Q4_0.gguf必填PROMPTHello!Hello!THREADS4根据目标 CPU 自行选择NUMA_MODEnone或tp首次运行建议noneNODES1、2、4与NUMA_MODEnone搭配时为1MAX_GEN256256其中MODEL是唯一必填项NUMA_MODE与NODES强关联规则详见后文第五节THREADS的选择直接影响吞吐建议结合机器核心数与 NUMA 布局决定。三、从源码构建 ArcLightArcLight 的推荐路径是从源码构建然后使用al-gen、al-chat、al-ppl三个命令行工具运行 GGUF 模型。3.1 Linux / x86 / ARM 构建git clone https://github.com/OpenBMB/ArcLight.git cd ArcLight cmake -B build -DARCLIGHT_BACKENDAUTO cmake --build build --config Release -j 32两条命令的含义cmake -B build在build目录生成构建系统-DARCLIGHT_BACKEND决定启用哪套架构相关后端代码cmake --build build --config Release -j 32以 Release 配置并行编译-j 32为并行任务数可按机器核数调整。构建要求机器具备C17 能力的工具链Linux 上通常为 GCC/G。3.2 选择ARCLIGHT_BACKEND默认使用AUTO仅在有明确需求时才显式指定取值含义AUTO根据目标 CPU 架构自动选择后端推荐使用X86强制启用 x86 后端NEON强制启用 ARM NEON 后端NONE构建时不包含任何架构相关的后端代码3.3 Windows 构建补充cookbook 额外给出了 Windows 下的 Visual Studio 构建方式SKILL 未覆盖作为补充信息git clone https://github.com/OpenBMB/ArcLight.git cd ArcLight cmake -B build -G Visual Studio 18 2026 cmake --build build --config Release -j 32Windows 下可执行文件会输出到 CMake 配置的构建输出目录Visual Studio 构建通常在build\bin下。四、准备 GGUF 模型nnml 后端的量化兼容性ArcLight 使用 llama.cpp 生态的GGUF检查点格式。关键在于当前nnml后端只内置了f32/f16/q4_0/q8_0/q6_K/q8_K这些张量类型的 kernel见 cookbook 引用的nnml/src/ops/types.cpp——Q4_K_M不在支持列表内无法加载。这一限制与官方发布物存在错位openbmb/MiniCPM5-1B-GGUF仓库发布的是F16、Q8_0和Q4_K_M并不包含Q4_0。因此首次验证优先使用官方发布的Q8_0即openbmb/MiniCPM5-1B-GGUF仓库中的MiniCPM5-1B-Q8_0.gguf想要 q4_0必须自己从 F16 权重量化得到。4.1 自行量化 Q4_0huggingface-cli download openbmb/MiniCPM5-1B-GGUF MiniCPM5-1B-F16.gguf --local-dir . llama-quantize ./MiniCPM5-1B-F16.gguf ./MiniCPM5-1B-Q4_0.gguf Q4_0第一步下载 F16 原始权重到当前目录第二步调用 llama.cpp 工具链中的llama-quantize以Q4_0方案量化输出MiniCPM5-1B-Q4_0.gguf。模型选择建议首次测试优先选用 MiniCPM5-1B 或其他小型 GGUF 模型推荐自产Q4_0体积最小或官方Q8_0与 F16 质量几乎无差。同时务必确认模型来自受支持家族MiniCPM5、Qwen3、Llama2。五、运行推理al-gen / al-chat / al-pplArcLight 提供三个命令行应用构建后位于build目录下Linux 上以./build/xxx形式运行工具用途al-gen一次性生成one-shot generational-chat交互式对话interactive chatal-ppl单段文本的困惑度评测perplexity5.1 一次性生成al-gen./build/al-gen \ --model ${MODEL} \ --prompt ${PROMPT} \ --numa none --nodes 1 \ --threads ${THREADS} \ --max_length 4096 \ --max_gen ${MAX_GEN}其中--max_length 4096为上下文总长度上限--max_gen ${MAX_GEN}默认 256为本次生成的最大新 token 数。cookbook 还提供了中文 prompt 的等价示例只需替换--prompt为中文文本即可无需其他改动。5.2 交互式对话al-chat./build/al-chat \ --model ${MODEL} \ --numa none --nodes 1 \ --threads ${THREADS} \ --max_length 4096 \ --max_gen ${MAX_GEN}如需为首轮对话预置一个 promptseed the first turn./build/al-chat \ --model ${MODEL} \ --prompt ${PROMPT} \ --numa none --nodes 1 \ --threads ${THREADS}cookbook 补充了交互细节生成过程中按CtrlC中断当前回复在等待输入时按CtrlC则退出并打印性能画像performance profile。5.3 困惑度评测al-ppl./build/al-ppl \ --model ${MODEL} \ --prompt Good morning, Miss Lee! \ --numa none --nodes 1 \ --threads ${THREADS}程序会打印被评测文本以及一行perplexity: ...形式的最终困惑度结果可用于量化对比不同量化等级如 Q4_0 与 Q8_0的质量损失。六、多核 CPU 与 NUMAnone / tp / pp 三种模式ArcLight 支持单节点推理与跨节点张量并行。SKILL 与 cookbook 共同定义了三种模式模式必带参数使用场景--numa none--nodes 1单节点模式。先从这种模式开始用于正确性验证与小模型--numa tp--nodes N其中N 1跨 NUMA 张量并行用于多核 CPU 机器提升吞吐--numa pp尚未就绪预留的流水线并行当前版本未实现6.1 先从单节点模式验证正确性./build/al-gen \ --model ${MODEL} \ --prompt ${PROMPT} \ --numa none --nodes 1 \ --threads ${THREADS}6.2 多核机器启用跨 NUMA 张量并行./build/al-gen \ --model ${MODEL} \ --prompt ${PROMPT} \ --numa tp --nodes ${NODES} \ --threads ${THREADS}6.3 NUMA 使用规则务必遵守--numa none要求--nodes 1二者必须严格配对--numa tp要求--nodes N且N 1当前版本NODES应为 2 的幂1、2、4、8…THREADS的选择要保证能被NODES整除例如--nodes 4 --threads 32即每节点 8 线程--numa pp为未来流水线并行预留当前未实现。cookbook 给出了 4 节点多核机器的完整示例./build/al-gen \ --model /path/to/MiniCPM5-1B-Q4_0.gguf \ --prompt Hello! \ --numa tp --nodes 4 \ --threads 32推荐设置速查来自 cookbook场景建议配置首次运行 / 小模型--numa none --nodes 1 --threads 单节点核心数多核 CPU 吞吐--numa tp --nodes 2 的幂 --threads 总线程数更长上下文增大--max_length与--kv_gb更大模型增大--w_gb若分配失败再调--a_gb与--work_gb七、可选内存缓冲区w / a / kv / work当内存分配失败或模型较大时可以手动指定四类缓冲区大小./build/al-gen \ --model ${MODEL} \ --prompt ${PROMPT} \ --numa none --nodes 1 \ --threads ${THREADS} \ --w_gb 4 --a_gb 8 --kv_gb 2 --work_gb 2各参数含义--w_gb权重weight缓冲区大小单位 GB--a_gb激活activation缓冲区大小--kv_gbKV cache 缓冲区大小--work_gb临时工作区workspace大小。调参直觉需要更长的--max_length时增大--kv_gb长上下文意味着更大的 KV cache例如 cookbook 指出--max_length 8192通常需要比--max_length 4096更大的--kv_gb模型更大时增大--w_gb分配仍失败则继续调--a_gb与--work_gb。八、部署验证一次最小冒烟测试部署完成后用下面这条最小命令验证模型确实能正确工作MODEL/path/to/MiniCPM5-1B-Q4_0.gguf THREADS4 ./build/al-gen \ --model ${MODEL} \ --prompt 11? \ --numa none --nodes 1 \ --threads ${THREADS} \ --max_gen 64通过标准回复应包含2或给出一个计算结果为2的简短解释。这条冒烟测试与仓库中 minicpm5-deploy 路由技能里各后端通用的11?健康检查口径一致便于横向对比不同后端。九、常见坑位与排查清单SKILL 文档给出了系统性的排障指引单节点模式程序立即中止使用--numa none --nodes 1。当前实现要求--numa none时--nodes必须严格等于1张量并行模式启动失败使用--numa tp --nodes N且N 1本版本中N应为 2 的幂同时确认--threads足够大且能被--nodes整除流水线并行不可用--numa pp尚未实现请使用--numa none或--numa tp模型加载失败确认检查点是 GGUF 格式且来自受支持模型家族MiniCPM5、Qwen3、Llama2cookbook 补充提示同时确认--w_gb对所选模型是否足够大内存不足OOM增大--w_gb、--a_gb、--kv_gb或--work_gb长上下文通常需要更大的 KV cacheCPU 吞吐偏低检查--threads、NUMA 布局与线程-核心绑定使用--print_binding 1 --print_perf 1输出绑定与性能诊断信息。十、何时不该用 ArcLightArcLight 的适用边界非常明确SKILL 文档给出了当不使用清单需要 CUDA 服务器推理→ 改用 GPU 导向的运行时如 vLLM 或 SGLang需要 Apple Silicon 上的 MLX 推理→ 改用 MLX 部署路径minicpm5-deploy-mlx需要桌面 GUI→ 改用支持 GGUF 的 GUI 运行时如 LM Studio需要流水线并行→ 等待 ArcLight--numa pp支持落地。选型时可以参考 minicpm5-deploy 路由技能当用户场景是GGUF CPU only / 统一内存系统 / 多核多 NUMA 机器时ArcLight 才是与 llama.cpp 并列的候选后端纯 GPU 高吞吐服务、macOS 原生加速等场景应路由到其他专用技能。参考与延伸阅读本文依据的 Agent Skillskills/minicpm5-deploy-arclight/SKILL.md人类可读 cookbookdocs/deployment/arclight.md部署路由技能后端选型决策矩阵skills/minicpm5-deploy/SKILL.mdMiniCPM5 部署矩阵总览README.mdGGUF 格式规范来自 llama.cpp 生态量化工具llama-quantize与下载工具huggingface-cli需按各自官方说明安装【免费下载链接】MiniCPMMiniCPM5: SOTA on-device LLMs, small yet powerful.项目地址: https://gitcode.com/GitHub_Trending/mi/MiniCPM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考