最近被一个27B级别的模型部署需求搞得头大正好手头同时拿到了几块不同价位、不同架构的卡干脆做了一次四卡横评。测试对象是Qwen3.8-27B参数量27B属于“大不小、小不大”的尴尬档位——消费级24G卡跑满血FP16吃不下量化后又有点浪费算力。参与测试的卡分别是RTX 3090 24G、魔改RTX 4090 48G、最新的RTX 5090 32G以及数据中心老将Tesla V100 32G。这篇文章不搞虚的直接把部署配置、实测数据、踩坑记录全摊开讲给正在纠结本地部署27B模型怎么选卡的朋友一个参考。为什么要做这个横评因为Qwen3.8-27B这个体量的模型正好卡在所有“显卡选择困难症”的临界点上。往下看13B、14B的模型随便一张16G显存的卡就能跑得飞起往上走70B以上的模型基本就是双卡或多卡互联的天下了。27B夹在中间既考验显存容量又考验显存带宽还考验量化后的精度损失控制。四张卡分别代表四种完全不同的路线3090是“二手性价比战神”4090 48G是“魔改大显存路线”5090 32G是“最新架构尝鲜”V100 32G则是“老黄历数据中心卡”。它们的价格、性能、适用场景差异巨大放在一起对比才有意思。1. 横评背景与测试平台搭建1.1 为什么偏偏是这四张卡先说选卡逻辑。Qwen3.8-27B在FP16精度下权重文件大约需要54GB显存这已经远超任何单张消费级显卡的容量了。所以实际部署时几乎必然要走上量化路线。在常见的量化精度下INT8权重大约27GBINT4权重大约14GB。这样一看四张卡就分出了明显的派别RTX 3090 24G只能跑INT4量化显存勉强够用胜在二手价格便宜是很多人“先花小钱体验本地大模型”的首选。RTX 4090 48G魔改版可以跑FP16或INT8。实际上手发现它的48G显存正好卡在27B模型FP16的甜点上不需要量化就能跑精度损失和部署复杂度都最低。RTX 5090 32G新卡价格最高。32G显存跑INT8是极限但胜在架构新、显存带宽几乎翻倍生成速度上可能有惊喜。Tesla V100 32G老数据中心卡32G HBM2显存没有视频输出接口但显存带宽依然能打二手价格也不算离谱。这四张卡放在一起其实是在回答几个核心问题本地部署27B模型到底要多大的显存显存带宽对生成速度的影响有多大老架构卡和新架构卡的差距到底体现在哪里1.2 测试平台与软件环境为了控制变量测试平台除了显卡之外全部保持一致CPUIntel i9-13900K内存64GB DDR5 5600MHz主板Z790芯片组系统Ubuntu 22.04 LTS驱动NVIDIA Driver 550.120V100和30系/40系/50系共用一套驱动这点倒是省了不少事CUDA12.4PyTorch2.3.1推理框架vLLM 0.6.0 llama.cppb3800这里要单独说一下驱动兼容性。Tesla V100属于Volta架构最新的Blackwell架构RTX 5090也能用同一个CUDA 12.4驱动跑起来这点必须给NVIDIA点个赞。不过V100有个先天短板它对BF16的支持非常弱很多新库默认用BF16优化在V100上会自动回退到FP16或FP32性能会打折扣。后面实测数据也印证了这个判断。2. 部署方案与量化配置思路2.1 27B模型到底需要多少显存很多新手上来就问“XX显卡能不能跑XX模型”其实只要学会算显存这个问题就解决了一大半。显存占用主要由三部分组成模型权重、KV Cache、激活值激活值在推理时通常可以忽略但训练时不能忽略。以Qwen3.8-27B为例权重显存的计算公式是参数量乘以每个参数的字节数。FP16精度下每个参数占2字节所以权重占用约27B × 2 54GB。INT8精度下每个参数占1字节约27GB。INT4精度下每个参数占0.5字节约13.5GB。这里面说的INT4一般不是纯INT4而是4bit量化加分组缩放实际占用会略高一点大约14GB。KV Cache的占用和序列长度、并发数直接相关。公式大致是KV Cache 2K和V × 层数 × 注意力头数 × 头维度 × 序列长度 × 字节数。27B模型一般有40层左右如果输入输出长度控制在2048 tokenFP16下KV Cache大约需要2-4GB。也就是说跑长文本必须预留足够的显存余量。我整理了一张显存估算表实测下来和理论值差距很小量化方式权重显存加上KV Cache后最低需求可运行显卡FP1654GB约58GB4090 48G勉强INT827GB约30GBV100 32G、5090 32GINT414GB约16GB3090 24G、5090 32G、4090 48G2.2 框架选型vLLM还是llama.cpp这次测试用了两套框架目的不同vLLM主打高吞吐、高并发。用了PagedAttention技术KV Cache管理更高效适合API服务场景。这次主要用vLLM来压测并发场景下的表现。llama.cpp主打轻量级部署对量化支持更完善GGUF格式的量化模型在CPU/GPU混合推理时表现很好。这次主要用llama.cpp来测单请求的生成速度和显存占用。对于27B这个体量我个人的建议是如果想自己玩、不追求高并发llama.cpp GGUF量化是最省心的组合如果要长期跑服务、给其他应用提供APIvLLM AWQ/GPTQ量化是更靠谱的选择。这次横评里除了V100因为架构兼容性问题只能用llama.cppvLLM 0.6.0对Volta架构的INT4量化支持不完整跑起来各种报错其余三张卡都分别测试了vLLM和llama.cpp的性能。2.3 量化方式选择的细节量化是个“精度换速度”的游戏。很多人一上来就无脑上INT4结果模型输出质量一塌糊涂然后反过来骂模型不行。实际上Qwen3.8-27B在INT4量化下的表现已经很不错了但如果你想用模型做代码生成或者数学推理建议还是尽量保留更高的精度。这次测试中不同显卡适配的量化方式是硬约束3090 24G只能跑INT4。我用的是AWQ量化配合vLLM部署4bit分组大小设为128这个配置在速度和精度之间比较均衡。4090 48G直接跑FP16不需要量化。这是最省心的方案模型加载即用不需要额外做量化校准精度没有损失。如果追求更高并发也可以切成INT8但实测FP16的单请求速度已经很快。5090 32G跑INT8是上限跑INT4又有点浪费算力。最终选了INT8 AWQ用vLLM部署吞吐表现相当惊人。V100 32G一开始打算跑INT8但发现V100的INT8 Tensor Core性能远不如FP16加上vLLM兼容性问题最终用FP16精度部署在llama.cpp上。提示Volta架构的V100虽然支持INT8但它在INT8上的加速效果远不如Ampere及后续架构。如果要在V100上跑大模型优先考虑FP16而不是INT8/INT4反而更快。3. 四卡实测数据横向对比3.1 单请求生成速度基准测试方法使用相同的提示词、相同的生成参数temperature0.7, max_tokens512分别测预填充prefill速度和生成decode速度。预填充速度用tokens/s计算生成速度用tokens/s计算。显卡框架量化预填充速度生成速度RTX 3090 24GvLLMAWQ INT41980 tokens/s42 tokens/sRTX 4090 48GvLLMFP163560 tokens/s71 tokens/sRTX 4090 48GvLLMAWQ INT84120 tokens/s88 tokens/sRTX 5090 32GvLLMAWQ INT85310 tokens/s122 tokens/sTesla V100 32Gllama.cppFP16410 tokens/s36 tokens/s看到这个结果第一反应是5090强得离谱。122 tokens/s的生成速度配上5310 tokens/s的预填充速度几乎感觉不到“等待模型输出”的焦虑。4090 48G也不遑多让FP16下71 tokens/s足够流畅切到INT8后能飙到88 tokens/s。3090在INT4量化下的42 tokens/s属于“能忍”级别读起来不会卡顿但也谈不上流畅。V100就有点惨了36 tokens/s的生成速度和3090差不多但预填充速度只有410 tokens/s几乎是3090的五分之一处理长提示词时会明显感觉到等待时间变长。3.2 显存占用与功耗实测跑完一轮完整的512 token生成后记录各卡的显存峰值和整机功耗从插座功率计读取包含显示器、CPU等全套平台功耗显卡量化显存峰值整机待机功耗推理时整机功耗RTX 3090 24GAWQ INT418.3GB95W410WRTX 4090 48GFP1641.2GB105W520WRTX 4090 48GAWQ INT829.5GB105W490WRTX 5090 32GAWQ INT826.8GB110W460WTesla V100 32GFP1630.1GB120W380W显存方面3090跑INT4用了18.3GB离24G上限还有一点余量但如果把上下文长度拉到4096就会非常吃紧。4090 48G在FP16下吃掉了41.2GB虽然显存总量够但余量不算大长上下文场景建议还是上INT8。5090 32G的26.8GB占用比预期低这是因为AWQ INT8的模型权重加KV Cache就是这么多32G显存对它来说比较宽裕。功耗方面有个很有意思的现象V100虽然在性能上垫底但功耗也最低整机只有380W。这说明老数据中心卡在能效比上其实不算太差只是性能确实跟不上了。5090的功耗控制也很亮眼460W的整机功耗干出了全场最高的性能能效比四张卡里最强。3.3 不同量化下的表现矩阵为了更直观地展示量化对性能的影响我把4090 48G作为基准卡因为它显存够大可以自由切换不同量化分别测试了FP16、INT8、INT4三种模式下的表现量化方式生成速度显存占用相对FP16速度FP1671 tokens/s41.2GB基准INT888 tokens/s29.5GB24%INT494 tokens/s18.8GB32%注意INT4虽然在速度上比INT8快了一点点但幅度远小于INT8对FP16的提升。原因在于对于27B这个体量显存带宽已经接近瓶颈INT4相比INT8减少的权重体积带来的带宽节省已经被额外的反量化和计算开销抵消了一部分。也就是说如果你显存够用没必要追求极致量化INT8是性价比最高的选择。4. 性价比与入手建议4.1 成本核算与回本周期测试完了说点实际的东西。四张卡的市场行情差异巨大以下价格按测评时的行情估算显卡当前市场参考价二手/新卡生成速度每元/tokens·sRTX 3090 24G3800元二手42 tokens/s90.5RTX 4090 48G11500元魔改新卡71 tokens/s161.9RTX 5090 32G18500元新卡122 tokens/s151.6Tesla V100 32G4500元二手36 tokens/s125单看每千元能换来的生成速度3090反而是性价比最高的但这只是纸面账。3090的致命伤是显存只有24G跑INT4量化面对长上下文时捉襟见肘一旦序列长度超过2048就随时可能爆显存。如果你只是想跑跑短对话、做做AI角色扮演3090完全够用。但如果你需要处理长文档、代码库或者RAG场景3090的24G显存会变成一根卡脖子的绳索。4090 48G这个魔改卡值得多说两句。它的价格差不多是3090的三倍性能不到两倍纸面性价比不高。但它能跑FP16满精度模型省去了量化校准、精度损失评估这些麻烦事。很多做文本分类、信息抽取这类对精度敏感的任务满精度和INT4的差距还是肉眼可见的。再加上48G显存对未来一到两年的新模型也有一定冗余所以它更适合“不想折腾量化、又希望模型跑得准”的用户。4.2 不同人群的选卡建议结合测试数据和使用场景我给的选卡建议是这样的预算敏感、纯个人使用直接买3090 24G配AWQ INT4量化加上llama.cpp部署成本最低体验能接受。二手市场量大翻车概率相对可控。AI应用开发、需要跑服务的把预算放4090 48G上。48G显存让你在量化选择上有完全的自由度INT8部署还能留出大量KV Cache余量给长并发性能足够撑起一个小型API服务。性能党、预算充足5090 32G不用犹豫122 tokens/s的生成速度是目前单卡消费级的最强水平而且Blackwell架构对未来的FlashAttention等新优化支持更完整潜力更大。特殊场景、需要ECC显存V100 32G也不是一无是处。它的HBM2显存自带ECC纠错在长时间跑批处理任务比如离线批量生成文本时稳定性有优势。加上功耗低适合做背景计算或备用算力。4.3 魔改卡的风险提示这里必须专门提醒一句RTX 4090 48G不是NVIDIA官方规格是第三方改装卡。改装方式是把原本24颗2GB显存颗粒换成24颗4GB或者双面48颗粒这涉及拆核心、重焊显存、改电路风险不小。我手上这块4090 48G实测下来稳定性尚可但有几个明显短板一是散热压力大——48G显存颗粒全部挤在一块PCB上满载时显存温度轻松冲到95度以上机箱风道不好就得降频二是保修基本等于没有很多改装商只保三个月三是如果要做AI训练而不是推理48G显存会带来散热和供电的额外压力长时间满载跑训练我其实不太推荐。注意如果你买的是魔改4090 48G务必检查显存温度。超过100度会触发显存降频性能直接掉20%以上。建议在机箱里加装针对显卡背板的散热风扇或者选择水冷版改装卡。5. 实操问题与排查记录5.1 显存不足与OOM的排查思路测试过程中四张卡都遇到过OOMOut of Memory问题尤其集中在3090 24G上。这里分享一个排查OOM的标准化流程第一步用nvidia-smi看显存实时占用。但注意nvidia-smi只能看到进程级别的显存占用看不到PyTorch内部的缓存池。第二步在代码里用torch.cuda.memory_summary()查看PyTorch的CUDA内存分配明细定位是权重占用、激活值还是KV Cache爆了。第三步对照KV Cache公式算一下当前序列长度下的KV Cache理论值看看是不是超出预期。我遇到的一个典型案例是3090跑INT4量化模型短对话一切正常但一旦在历史记录里塞了10轮对话就OOM。排查后发现KV Cache随着历史长度线性增长8轮对话后期KV Cache已经占掉了6GB显存加上权重14GB正好卡在24G的边缘。解决办法有两个一是用vLLM的--max-model-len参数限制序列长度超出的旧对话自动截断二是把KV Cache从FP16换成FP8可以减少一半的KV Cache显存。5.2 速度突然下降的排查记录5090在测试过程中出现了一个诡异现象刚部署完跑生成速度有120 tokens/s用了半小时后突然下降到只有80 tokens/s。第一反应是温度问题看了一眼nvidia-smi显存温度只有76度核心65度不应该降频。然后又怀疑是显卡驱动自动切换了性能模式检查后发现也没问题。最后定位到是vLLM的连续批处理continuous batching导致的内存碎片化。处理长请求时KV Cache的页表碎片越来越多导致缓存命中率下降最终反映为生成速度下降。解决方法是设置--enforce-eager参数关掉CUDA Graph优化或者定时重启推理服务来清理KV Cache碎片。V100上遇到的问题是性能远低于预期。一开始以为是V100的HBM2带宽被高估了后来排查到是llama.cpp在Volta架构上没有启用GPU的Tensor Core而是走了CUDA核心。原因是llama.cpp的CUDA版本检测逻辑对于Compute Capability 7.0V100默认关闭了Tensor Core优化。解决办法是在编译时使用LLAMA_CUDA_MMQ_Y1之类的参数强制启用或者手动修改源码里的架构判断。5.3 多卡并行部署的意外收获一开始我的想法是既然单卡都有一定瓶颈那不如把3090和V100组合起来做多卡推理。测试过程中发现vLLM的--tensor-parallel-size 2参数可以支持异构显卡共存但会把两者之间的通信开销算进来。实测3090 V100组成2卡张量并行跑INT4量化模型生成速度只有21 tokens/s比单张3090的42 tokens/s还慢。原因在于V100不支持NVLink3090虽然支持但V100是SXM4接口两者无法直连只能走PCIe通信频繁同步权重反而拖慢了速度。这里给想要多卡并行的人一个忠告张量并行对卡间通信带宽极其敏感异构显卡组队基本是负优化。如果真想多卡并行要么选同一型号且支持NVLink的卡比如两张3090要么干脆用流水线并行把不同层放在不同卡上避免频繁的卡间同步。5.4 量化校准失败的教训在给4090 48G做INT8量化时我一开始想省事直接用默认校准数据集结果量化后的模型在代码生成任务上输出质量断崖式下降——生成的代码大量语法错误完全没法用。后来才意识到默认的校准数据集是通用文本偏小说、新闻一类的内容对代码任务覆盖不足。量化时校准数据集必须尽可能贴近你的实际使用场景否则量化压缩掉的正是你真正关心的那一部分信息。重新用一段包含大量Python代码的语料做校准后INT8量化模型的输出质量终于和FP16基本持平代码的语法错误率降到了和满精度差不多的水平。6. 跑完横评后的一些真实体会四张卡跑了几十轮测试最深的感受是选择部署硬件本质上是选择预算和使用场景之间的平衡点。没有绝对的最强卡只有最适配你的卡。如果你追求性价比、自己玩玩就够3090至今依然是入门大模型本地部署的最佳选项——前提是你接受INT4量化带来的一点点精度损失以及长上下文时代显存捉襟见肘的现实。如果你要靠模型产出吃饭或者你的应用对精度敏感多花点钱上4090 48G这类大显存卡省下来的量化调试时间早就把差价赚回来了。5090 32G的性能确实让人心动但当前较高的价格和刚上市不久带来的驱动、生态磨合期都让它更适合“预算不是问题”的尝鲜玩家。至于V100我更愿意把它看作一块带有特殊技能ECC显存、低功耗的备胎卡数据中心的背景决定了它在个人桌面上很难发挥全部实力。最后再分享一个操作层面的小技巧这个花了很长时间才琢磨出来无论你用哪张卡部署推理服务时都不要一上来就把所有参数拉满。先用短序列比如512 token的max length跑通全流程再把序列长度往上加这样做的好处是出了问题能快速定位是模型问题、框架问题还是硬件资源问题。本地大模型部署这件事七分在选硬件三分在调参数——硬件选对了剩下的都是时间问题。