尧图网站建设 
llama.cpp 摩尔线程 MUSA 后端编译运行完整指南快速上手与排错教程【免费下载链接】llama.cppLLM inference in C/C项目地址: https://gitcode.com/GitHub_Trending/ll/llama.cpp本文面向想在大语言模型推理中使用摩尔线程 MUSA GPU 的开发者。llama.cpp 是一个 C/C 编写的 LLM 推理框架支持 CUDA、Metal、Vulkan 等多种后端MUSA 是其中面向国产 GPU 的后端。文章覆盖环境判断、最短编译路径、常见报错定位和效果验证帮你在自己的 MUSA 机器上把 llama.cpp 真正跑起来。先确认你的机器能不能启用 MUSA 后端启用前逐项检查任何一项不满足都建议先补齐再编译。驱动是否可用容器或主机里执行musactl能看到版本号和设备列表才算驱动就绪。如果命令不存在或报错优先处理驱动安装而不是改代码。Toolkit 是否安装MUSA 编译依赖 MUSAToolkitCMake 会通过find_package(MUSAToolkit)定位它。默认搜索路径为/usr/local/musa或/opt/musa也可以设置环境变量MUSA_PATH指向实际位置。版本匹配官方 CI 使用的镜像是mthreads/musa:rc4.3.0-devel-ubuntu22.04-amd64自己的驱动版本建议与 Toolkit 保持一致避免 API 不兼容。确认你的卡型默认编译架构为 21、22、31可用MUSA_ARCHITECTURES覆盖。如果你的卡不在列表里编译能通过但运行会失败提前确认架构号能省掉很多排查时间。用最短路径完成首次编译运行官方推荐在 Docker 容器内构建文档见 ci/README-MUSA.md。先克隆代码git clone https://gitcode.com/GitHub_Trending/ll/llama.cpp准备两个目录并启动容器挂载源码目录到/wsmkdir -p $HOME/llama.cpp/{ci-cache,ci-results} docker run --privileged -it \ -v $HOME/llama.cpp/ci-cache:/ci-cache \ -v $HOME/llama.cpp/ci-results:/ci-results \ -v $PWD:/ws -w /ws \ mthreads/musa:rc4.3.0-devel-ubuntu22.04-amd64容器内安装基础依赖再执行构建脚本apt update -y apt install -y bc cmake ccache git python3.10-venv git config --global --add safe.directory /ws GG_BUILD_MUSA1 bash ./ci/run.sh /ci-results /ci-cache如果不用 CI 脚本、只想自己配置 CMake关键开关是cmake -B build -DGGML_MUSAON cmake --build build -j$(nproc)相关选项定义在 ggml/CMakeLists.txt其中GGML_MUSA_GRAPHS图捕获实验性和GGML_MUSA_MUDNN_COPY加速拷贝默认关闭首次跑通前建议保持默认只开GGML_MUSAON。按现象定位 MUSA 编译失败与运行报错编译阶段报 musa.h 找不到或 Toolkit 未找到先确认容器内MUSA_PATH指向的目录里确实有bin/clang和cmake子目录编译器和构建模块都从这里加载。手动编译时把MUSA_PATH设为 Toolkit 实际路径再重新 configure不要复用旧的 build 目录。运行时提示设备初始化失败现象类似failed to initialize MUSA context。按顺序处理确认musactl能列出设备确认驱动和 Toolkit 版本一致检查是否误用--privileged缺失的容器导致设备节点不可见。三项都正常仍失败再去看日志里首个失败的 API 调用点。运行中报 out of memoryMUSA 与 CUDA 的显存管理存在差异兼容映射定义在 ggml/src/ggml-cuda/vendors/musa.h。遇到 OOM 时优先缩小两个变量降低--ctx-size比如从 8192 降到 2048或减少--n-gpu-layers让部分层留在 CPU。不要一次改多个参数便于判断是哪个因素生效。能跑但速度不如预期确认后端真的被选中日志里应出现 MUSA backend 初始化信息。对比 CPU 与 GPU 吞吐参考下一节的基准命令。若--flash-attn on后速度无变化说明瓶颈可能在量化或拷贝环节可再单独试GGML_MUSA_MUDNN_COPY。用基准和日志验证 MUSA 后端效果算子正确性运行 tests/test-backend-ops.cpp 对应的test-backend-ops指定 MUSA 后端全绿才算运算正确。吞吐对比用 tools/llama-bench 分别跑--n-gpu-layers 0纯 CPU和全量 GPU 层比较 pp/tg 两列数字。GPU 版应明显更快差距过小就回到上一节查瓶颈。日志级别设置GGML_LOG_LEVEL3可看到每个算子路由到哪个后端适合确认某层没有静默回退 CPU。一次完整的成功运行参考命令./build/bin/llama-cli -m model.gguf --ctx-size 2048 -fa on -p 你好判断标准很简单输出正常、无算子报错、llama-bench 的 GPU 列快于 CPU 列说明 MUSA 后端已可用。关键入口与后续跟进文档入口ci/README-MUSA.md 描述容器化构建流程CONTRIBUTING.md 说明如何提交 MUSA 相关改动。源码入口后端构建逻辑在 ggml/src/ggml-musa/CMakeLists.txt运算内核复用 ggml/src/ggml-cuda/ 的 CUDA 实现。问题反馈遇到复现困难的问题整理好驱动版本、Toolkit 版本、musactl输出和完整报错日志再到项目 issue 区提问定位效率会高很多。MUSA 后端仍在快速迭代图捕获等新特性建议先在 CI 脚本里验证再上生产。保持驱动、Toolkit 与 llama.cpp 版本同步更新是长期稳定运行的前提。【免费下载链接】llama.cppLLM inference in C/C项目地址: https://gitcode.com/GitHub_Trending/ll/llama.cpp创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 llama.cpp 摩尔线程 MUSA 后端编译运行完整指南：快速上手与排错教程
llama.cpp 摩尔线程 MUSA 后端编译运行完整指南快速上手与排错教程【免费下载链接】llama.cppLLM inference in C/C项目地址: https://gitcode.com/GitHub_Trending/ll/llama.cpp本文面向想在大语言模型推理中使用摩尔线程 MUSA GPU 的开发者。llama.cpp 是一个 C/C 编写的 LLM 推理框架支持 CUDA、Metal、Vulkan 等多种后端MUSA 是其中面向国产 GPU 的后端。文章覆盖环境判断、最短编译路径、常见报错定位和效果验证帮你在自己的 MUSA 机器上把 llama.cpp 真正跑起来。先确认你的机器能不能启用 MUSA 后端启用前逐项检查任何一项不满足都建议先补齐再编译。驱动是否可用容器或主机里执行musactl能看到版本号和设备列表才算驱动就绪。如果命令不存在或报错优先处理驱动安装而不是改代码。Toolkit 是否安装MUSA 编译依赖 MUSAToolkitCMake 会通过find_package(MUSAToolkit)定位它。默认搜索路径为/usr/local/musa或/opt/musa也可以设置环境变量MUSA_PATH指向实际位置。版本匹配官方 CI 使用的镜像是mthreads/musa:rc4.3.0-devel-ubuntu22.04-amd64自己的驱动版本建议与 Toolkit 保持一致避免 API 不兼容。确认你的卡型默认编译架构为 21、22、31可用MUSA_ARCHITECTURES覆盖。如果你的卡不在列表里编译能通过但运行会失败提前确认架构号能省掉很多排查时间。用最短路径完成首次编译运行官方推荐在 Docker 容器内构建文档见 ci/README-MUSA.md。先克隆代码git clone https://gitcode.com/GitHub_Trending/ll/llama.cpp准备两个目录并启动容器挂载源码目录到/wsmkdir -p $HOME/llama.cpp/{ci-cache,ci-results} docker run --privileged -it \ -v $HOME/llama.cpp/ci-cache:/ci-cache \ -v $HOME/llama.cpp/ci-results:/ci-results \ -v $PWD:/ws -w /ws \ mthreads/musa:rc4.3.0-devel-ubuntu22.04-amd64容器内安装基础依赖再执行构建脚本apt update -y apt install -y bc cmake ccache git python3.10-venv git config --global --add safe.directory /ws GG_BUILD_MUSA1 bash ./ci/run.sh /ci-results /ci-cache如果不用 CI 脚本、只想自己配置 CMake关键开关是cmake -B build -DGGML_MUSAON cmake --build build -j$(nproc)相关选项定义在 ggml/CMakeLists.txt其中GGML_MUSA_GRAPHS图捕获实验性和GGML_MUSA_MUDNN_COPY加速拷贝默认关闭首次跑通前建议保持默认只开GGML_MUSAON。按现象定位 MUSA 编译失败与运行报错编译阶段报 musa.h 找不到或 Toolkit 未找到先确认容器内MUSA_PATH指向的目录里确实有bin/clang和cmake子目录编译器和构建模块都从这里加载。手动编译时把MUSA_PATH设为 Toolkit 实际路径再重新 configure不要复用旧的 build 目录。运行时提示设备初始化失败现象类似failed to initialize MUSA context。按顺序处理确认musactl能列出设备确认驱动和 Toolkit 版本一致检查是否误用--privileged缺失的容器导致设备节点不可见。三项都正常仍失败再去看日志里首个失败的 API 调用点。运行中报 out of memoryMUSA 与 CUDA 的显存管理存在差异兼容映射定义在 ggml/src/ggml-cuda/vendors/musa.h。遇到 OOM 时优先缩小两个变量降低--ctx-size比如从 8192 降到 2048或减少--n-gpu-layers让部分层留在 CPU。不要一次改多个参数便于判断是哪个因素生效。能跑但速度不如预期确认后端真的被选中日志里应出现 MUSA backend 初始化信息。对比 CPU 与 GPU 吞吐参考下一节的基准命令。若--flash-attn on后速度无变化说明瓶颈可能在量化或拷贝环节可再单独试GGML_MUSA_MUDNN_COPY。用基准和日志验证 MUSA 后端效果算子正确性运行 tests/test-backend-ops.cpp 对应的test-backend-ops指定 MUSA 后端全绿才算运算正确。吞吐对比用 tools/llama-bench 分别跑--n-gpu-layers 0纯 CPU和全量 GPU 层比较 pp/tg 两列数字。GPU 版应明显更快差距过小就回到上一节查瓶颈。日志级别设置GGML_LOG_LEVEL3可看到每个算子路由到哪个后端适合确认某层没有静默回退 CPU。一次完整的成功运行参考命令./build/bin/llama-cli -m model.gguf --ctx-size 2048 -fa on -p 你好判断标准很简单输出正常、无算子报错、llama-bench 的 GPU 列快于 CPU 列说明 MUSA 后端已可用。关键入口与后续跟进文档入口ci/README-MUSA.md 描述容器化构建流程CONTRIBUTING.md 说明如何提交 MUSA 相关改动。源码入口后端构建逻辑在 ggml/src/ggml-musa/CMakeLists.txt运算内核复用 ggml/src/ggml-cuda/ 的 CUDA 实现。问题反馈遇到复现困难的问题整理好驱动版本、Toolkit 版本、musactl输出和完整报错日志再到项目 issue 区提问定位效率会高很多。MUSA 后端仍在快速迭代图捕获等新特性建议先在 CI 脚本里验证再上生产。保持驱动、Toolkit 与 llama.cpp 版本同步更新是长期稳定运行的前提。【免费下载链接】llama.cppLLM inference in C/C项目地址: https://gitcode.com/GitHub_Trending/ll/llama.cpp创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考