我用RTX 3090运行本地LLM已经好几个月了。后来我测试了配备32GB显存的AMD Radeon AI Pro R9700，突然就明白了。AMD 的顶级消费级显卡——Radeon RX 7900 XTX——配备 24GB GDDR6 显存，带宽约为960 GB/s 。这与 RTX 3090 的936 GB/s基本处于同一水平。这些规格看起来相当诱人，所以我毫不犹豫地在亚马逊上以1099 美元的价格入手了。1. 这套方案的可重复使用性不如我想象的那么好。我的第一个想法是？我可以直接换上 7900 XTX，然后复用我之前在 R9700 AI Pro 上编译的 llama.cpp 文件。结果错了。AMD GPU 在 ROCm 兼容性方面并非全部相同。R9700 AI Pro 是一款数据中心显卡，其特定的计算能力无法移植到消费级硬件上。我不得不为 7900 XTX 从头开始重新编写 llama.cpp 文件。以下是有效的构建命令：git clone https://github.com/ggml-org/llama.cpp.git cd llama.cpp mkdir build cd build cmake .. -DGGML_HIPBLAS=ON -DCMAKE_BUILD_TYPE=Release -DLLAMA_CUDA_FORCE_MMQ=ON make -j$( nproc )关键标志：GGML_HIPBLAS启用 ROCm 支持，并LLAMA_CUDA_FORCE_MMQ强制使用 AMD GPU 正确处理 MQ4 格式所需的内
我用RTX 3090运行本地LLM已经好几个月了。后来我测试了配备32GB显存的AMD Radeon AI Pro R9700，突然就明白了。AMD 的顶级消费级显卡——Radeon RX 7900 XTX——配备 24GB GDDR6 显存，带宽约为960 GB/s 。这与 RTX 3090 的936 GB/s基本处于同一水平。这些规格看起来相当诱人，所以我毫不犹豫地在亚马逊上以1099 美元的价格入手了。1. 这套方案的可重复使用性不如我想象的那么好。我的第一个想法是？我可以直接换上 7900 XTX，然后复用我之前在 R9700 AI Pro 上编译的 llama.cpp 文件。结果错了。AMD GPU 在 ROCm 兼容性方面并非全部相同。R9700 AI Pro 是一款数据中心显卡，其特定的计算能力无法移植到消费级硬件上。我不得不为 7900 XTX 从头开始重新编写 llama.cpp 文件。以下是有效的构建命令：git clone https://github.com/ggml-org/llama.cpp.git cd llama.cpp mkdir build cd build cmake .. -DGGML_HIPBLAS=ON -DCMAKE_BUILD_TYPE=Release -DLLAMA_CUDA_FORCE_MMQ=ON make -j$( nproc )关键标志：GGML_HIPBLAS启用 ROCm 支持，并LLAMA_CUDA_FORCE_MMQ强制使用 AMD GPU 正确处理 MQ4 格式所需的内
