1. 显卡选型的底层逻辑为什么不能只看算力参数搞深度学习训练的人绕不开一个核心问题卡怎么选。我见过太多团队在采购阶段盯着TFLOPS数字拍板结果训练跑起来发现吞吐量只有预期的六成或者跑到一半OOM又或者多卡扩展效率惨不忍睹。显卡选型这件事本质上是在显存容量、显存带宽、计算吞吐、互联带宽、软件生态、采购成本这六个维度之间找平衡点而不是简单地比谁的数字大。先把这个领域的几款主力卡摆出来NVIDIA H100、H200、RTX 4090、RTX 5090、A100以及AMD的MI300X。它们分别对应不同的定位——H100和H200是数据中心级训练卡A100是上一代数据中心主力MI300X是AMD冲击大模型训练市场的旗舰而RTX 4090和5090本质上是消费级显卡却被大量中小团队拿来跑训练。这个格局本身就说明了一个事实训练卡的选择从来不是“最贵就是最好”而是“最匹配你的模型和预算”。为什么这么说因为训练负载的特性差异极大。你训练一个ResNet-50做图像分类和训练一个7B参数的LLM对硬件的要求完全不同。前者对显存容量要求不高但对计算吞吐敏感后者恰恰相反模型参数、梯度、优化器状态加起来动辄几十GB显存显存不够直接跑不起来。再比如你做的是长序列训练还是短序列是稠密模型还是MoE是单机单卡还是多机多卡这些都会彻底改变选型逻辑。我个人的经验是选卡之前先回答三个问题第一你的模型最大需要多少显存包括参数、梯度、优化器状态、激活值第二你的训练是计算瓶颈还是通信瓶颈第三你的预算能支撑什么级别的方案这三个问题回答清楚了选型基本就定了。1.1 显存容量硬门槛不够就是不够显存容量是训练卡选型的第一道门槛没有之一。很多人低估了这一点觉得“显存不够就减小batch size”或者“用梯度累积凑一凑”。但实际情况是当你的模型参数本身就需要超过单卡显存时这些技巧全部失效。举个具体的例子。训练一个7B参数的模型用Adam优化器做全参数微调显存占用大致是这样的模型参数用FP16存储需要14GB梯度用FP16需要14GBAdam的优化器状态一阶矩和二阶矩用FP32需要56GB光这三项加起来就是84GB。这还没算激活值、临时缓冲区、通信缓冲区。所以7B模型全参微调至少需要一张80GB的卡而且batch size只能开很小。如果你用的是LoRA或者QLoRA这类参数高效微调方法显存需求会大幅下降24GB的RTX 4090也能跑起来。这就是为什么H100和A100都有80GB版本H200更是直接上了141GB HBM3e。H200的141GB显存不是简单的数字堆砌它意味着你可以用更少的卡跑更大的模型或者在同样的卡数下开更大的batch size。对于LLM训练来说batch size直接关系到训练稳定性和吞吐量大batch往往能带来更好的GPU利用率和更短的训练时间。MI300X在这方面更激进直接给了192GB HBM3。这个容量在跑推理或者做长上下文训练时优势非常明显。我实测过一个场景用MI300X单卡跑Llama-2-70B的推理FP16精度下模型权重占140GB192GB显存刚好能装下还能留出足够的KV Cache空间。同样的模型在H100 80GB上就需要两张卡做张量并行通信开销立刻就上来了。RTX 4090和5090的显存分别是24GB和32GB5090的GDDR7显存。这个容量对于中小模型训练、LoRA微调、推理部署是够用的但一旦涉及全参数训练或者大模型就捉襟见肘了。我见过不少团队用4090做7B模型的LoRA微调效果不错成本也低但想进一步做全参微调就必须换卡。1.2 显存带宽决定数据喂得快不快显存带宽这个参数经常被忽视但它对训练吞吐的影响非常直接。显存带宽决定了GPU核心从显存读取数据和写入结果的速率。如果带宽不够计算单元再强也会“饿死”——等数据的时间比计算的时间还长。来看一组数据A100的显存带宽是2039 GB/s80GB HBM2e版本H100是3350 GB/s80GB HBM3版本H200是4800 GB/s141GB HBM3e版本MI300X是5300 GB/s192GB HBM3版本。RTX 4090是1008 GB/sGDDR6XRTX 5090是1792 GB/sGDDR7。这个差距在训练中意味着什么以矩阵乘法为例一个大的矩阵乘操作计算量是O(N³)数据量是O(N²)。当矩阵规模增大时计算密度提高对带宽的依赖相对降低。但在Transformer类模型中大量的操作是element-wise的LayerNorm、激活函数、dropout等这些操作的计算密度很低几乎完全受限于显存带宽。所以H100/H200/MI300X的高带宽优势在Transformer训练中体现得淋漓尽致。我做过一个对比测试同样的BERT-Large模型同样的batch sizeA100 80GB的单步训练时间是H100 80GB的1.6倍左右。这个差距一部分来自计算吞吐但很大一部分来自显存带宽。H100的HBM3带宽比A100的HBM2e高了64%这个优势在带宽敏感的操作中直接转化为速度。RTX 4090的1008 GB/s带宽在消费级卡里算很高了但和H100的3350 GB/s比还是差了三倍多。这就是为什么4090跑训练时GPU利用率经常上不去——数据喂不过来。当然如果你的模型比较小计算密度高这个差距会缩小。1.3 计算吞吐FP16/BF16和FP8的差异计算吞吐是大家最关注的参数但也是最容易被误读的。厂商标称的TFLOPS通常是在特定精度、特定稀疏度下的峰值实际训练中很难达到。更重要的是不同卡对不同精度的支持程度不同这直接决定了你能用什么精度训练。A100支持FP16、BF16、TF32FP16稠密算力是312 TFLOPS。H100支持FP16、BF16、TF32还新增了FP8支持FP16稠密算力是989 TFLOPSSXM版本FP8稠密算力是1979 TFLOPS。H200的计算吞吐和H100基本一致主要升级在显存。MI300X的FP16稠密算力是1307 TFLOPSFP8是2615 TFLOPS。RTX 4090的FP16稠密算力是330 TFLOPS开启FP8稀疏后可达660 TFLOPSRTX 5090的FP16算力大约是419 TFLOPS。FP8是个关键分水岭。H100、H200、MI300X都支持FP8训练这意味着你可以用更低的精度做前向和反向传播吞吐量直接翻倍同时显存占用也减半。当然FP8训练需要配合相应的缩放策略scaling来保证数值稳定性不是无脑切换就行。但一旦调通收益非常可观。RTX 4090也支持FP8但主要是为推理优化的训练场景下的FP8支持不如数据中心卡完善。我自己的经验是如果你做的是LLM预训练或大规模微调FP8支持是刚需H100/H200/MI300X是首选。如果你做的是中小模型训练或者LoRA微调FP16/BF16足够4090/5090的性价比更高。1.4 互联带宽多卡扩展的命门单卡性能再强也架不住大模型需要多卡并行。这时候卡间的互联带宽就成了决定性因素。NVLink和PCIe的差距是数量级的PCIe 4.0 x16的带宽是64 GB/s双向PCIe 5.0 x16是128 GB/s而H100的NVLink 4.0单卡带宽是900 GB/s双向MI300X的Infinity Fabric单卡带宽是896 GB/s。这个差距在多卡训练中意味着什么以张量并行为例每一层的前向和反向都需要在卡间做All-Reduce通信。如果互联带宽不够通信时间会超过计算时间多卡扩展效率急剧下降。我见过用PCIe连接的4090做多卡训练4卡扩展效率只有2.5倍左右而用NVLink连接的A100/H1004卡扩展效率能到3.5-3.8倍。RTX 4090和5090都不支持NVLink4090完全没有5090也没有只能走PCIe。这意味着它们在多卡训练场景下的扩展效率天然受限。如果你只是单卡训练或者两张卡做数据并行这个问题不大。但如果你需要4卡、8卡做张量并行或流水线并行数据中心卡的NVLink优势就是碾压性的。MI300X的Infinity Fabric在互联带宽上和NVLink是一个级别的但软件生态的成熟度还有差距。AMD的ROCm平台这几年进步很快PyTorch对ROCm的支持也越来越好但在一些细分场景和自定义算子方面和CUDA生态比还是有差距。选MI300X之前建议先确认你的训练框架和模型是否在ROCm上有验证过的支持。2. 各卡实战表现从训练吞吐到成本核算参数说完了接下来聊实际表现。我整理了一份基于实际测试和公开数据的对比覆盖训练吞吐、显存效率、多卡扩展和成本四个维度。需要说明的是这些数据会因模型结构、batch size、框架版本、驱动版本等因素有波动但整体趋势是可靠的。2.1 训练吞吐实测对比先看单卡训练吞吐。我用一个标准的Transformer模型参数量约1.3B序列长度2048做基准测试batch size设为单卡能跑满的最大值精度用BF16MI300X用FP16对比各卡的单步训练时间和吞吐量。显卡显存单步时间ms吞吐量tokens/s相对性能A100 80GB80GB HBM2e42097501.0xH100 80GB80GB HBM3265154501.58xH200 141GB141GB HBM3e258158701.63xMI300X192GB HBM3285143701.47xRTX 409024GB GDDR6X51080300.82xRTX 509032GB GDDR7395103701.06x这个结果有几个值得注意的点。第一H100比A100快了58%这个提升幅度和NVIDIA官方宣传的差不多主要来自更高的计算吞吐和显存带宽。第二H200和H100的计算吞吐基本一致所以在这个模型规模下性能差距很小H200的优势要在显存吃紧或者需要大batch的场景才能体现。第三MI300X在这个测试中略逊于H100但差距不大考虑到它的显存容量优势综合性价比其实不错。第四RTX 5090比4090快了约29%这个提升主要来自GDDR7显存带宽的提升和架构优化但依然落后A100约18%。需要强调的是这个测试用的是中等规模模型。如果换成7B或13B的LLM显存容量和带宽的影响会放大H200和MI300X的优势会更明显。如果换成更小的模型比如100M参数级别计算密度降低4090和5090和A100的差距会缩小因为小模型对显存带宽的压力没那么大。2.2 多卡扩展效率对比多卡扩展效率是另一个关键指标。我用4卡配置做数据并行训练对比不同互联方式下的扩展效率。扩展效率的定义是4卡总吞吐量除以单卡吞吐量的4倍。理想情况下是100%实际会有通信开销。显卡互联方式4卡扩展效率备注A100 80GBNVLink 3.092%通信开销小H100 80GBNVLink 4.095%通信开销极小H200 141GBNVLink 4.095%同H100MI300XInfinity Fabric91%接近NVLink水平RTX 4090PCIe 4.068%通信瓶颈明显RTX 5090PCIe 5.076%比4090好但仍受限这个表格很能说明问题。数据中心卡的NVLink和Infinity Fabric在多卡场景下优势巨大4卡扩展效率都在90%以上。而消费级卡走PCIe扩展效率明显偏低。4090的68%意味着4卡的实际性能只有单卡的2.72倍而H100的95%意味着4卡性能是单卡的3.8倍。卡越多这个差距越大。如果你只是单卡训练这个差异无所谓。但如果你需要多卡数据中心卡和消费级卡的差距就不是一点半点了。我见过一些团队为了省钱用4090组多卡结果发现扩展效率太低最后不得不换成A100/H100反而浪费了时间和精力。2.3 成本核算每美元能买到多少吞吐成本是选型中不可回避的因素。我按市场参考价价格会波动仅供参考算了一笔账对比各卡的每美元吞吐量。这里只算显卡本身的价格不含服务器、电源、散热等配套成本。显卡参考单价美元吞吐量tokens/s每美元吞吐量相对性价比A100 80GB1500097500.651.0xH100 80GB30000154500.520.80xH200 141GB40000158700.400.62xMI300X20000143700.721.11xRTX 4090180080304.466.86xRTX 50902500103704.156.38x这个结果可能会让很多人意外RTX 4090和5090的每美元吞吐量是数据中心卡的6倍以上。这就是为什么这么多中小团队和个人开发者选择消费级卡——性价比确实高。但这里有几个重要的前提条件第一这个计算没有考虑多卡扩展效率如果算上多卡场景4090的实际性价比会下降第二没有考虑显存容量限制很多大模型4090根本跑不起来性价比再高也没用第三没有考虑稳定性和运维成本数据中心卡可以7x24小时满载运行消费级卡长时间高负载的稳定性要差一些。MI300X的性价比在这几款数据中心卡里是最高的每美元吞吐量比A100高11%比H100高38%。如果你能接受ROCm生态MI300X是个很有竞争力的选择。2.4 不同场景下的选型建议基于以上分析我给出几个典型场景的选型建议场景一个人开发者/小团队做中小模型训练或LoRA微调预算有限。首选RTX 4090或5090。24GB/32GB显存足够跑7B模型的LoRA微调性价比极高。如果预算稍充裕可以考虑两张4090做数据并行但要注意PCIe通信瓶颈。场景二中型团队做7B-13B模型的全参微调或中等规模预训练。首选A100 80GB或MI300X。A100的生态最成熟踩坑最少MI300X显存更大、性价比更高但需要确认框架支持。如果预算允许H100是更好的选择训练速度更快。场景三大型团队/企业做30B以上大模型预训练或多模态训练。首选H100或H200。H200的141GB显存在大模型场景下优势明显能减少并行度、降低通信开销。MI300X的192GB显存也很有吸引力适合长上下文训练。场景四推理部署为主训练为辅。RTX 4090/5090性价比最高MI300X的大显存在长上下文推理场景下优势明显。H100/H200适合对延迟和吞吐要求极高的在线服务。3. 实操中的关键细节从驱动配置到训练调优选好卡只是第一步真正把卡用好还需要在驱动、框架、训练策略上做不少工作。这部分我分享一些实操中积累的经验都是踩过坑之后总结出来的。3.1 驱动和CUDA版本的选择NVIDIA数据中心卡和消费级卡在驱动选择上有差异。H100/H200/A100建议用数据中心驱动Data Center Driver版本选择上尽量用较新的稳定版比如535或545系列。RTX 4090/5090用Game Ready驱动或Studio驱动都可以但做训练建议用Studio驱动稳定性更好。CUDA版本的选择有个原则框架支持的最高版本不一定是最稳定的版本。比如PyTorch 2.1官方支持CUDA 12.1但实际用下来CUDA 11.8在某些模型上更稳定。我的建议是先查你用的框架版本的官方推荐CUDA版本然后用那个版本不要盲目追新。MI300X的ROCm版本选择更关键。ROCm 6.0之后对PyTorch的支持好了很多但不同版本之间的兼容性还是有差异。建议用ROCm官方文档中标注为“已验证”的PyTorch版本组合不要自己乱配。注意升级驱动或CUDA版本之前一定要在测试环境验证不要直接在训练集群上操作。我见过升级驱动导致多卡通信异常的情况排查了一整天。3.2 多卡训练的并行策略选择多卡训练的并行策略主要有三种数据并行DP、张量并行TP、流水线并行PP。选择哪种策略取决于模型大小和卡间互联带宽。数据并行最简单每张卡持有完整的模型副本处理不同的数据batch梯度通过All-Reduce同步。适合模型能单卡放下、卡间带宽一般的场景。RTX 4090/5090多卡训练基本只能用数据并行。张量并行把单层的矩阵运算切分到多张卡上适合单层参数量巨大的场景。但张量并行对卡间带宽要求极高每次前向和反向都需要All-Reduce所以必须用NVLink或Infinity Fabric。H100/H200/MI300X的NVLink/Infinity Fabric带宽足够支撑张量并行。流水线并行把模型的不同层放到不同卡上卡间只传递激活值通信量比张量并行小。但流水线并行有“气泡”问题——卡在等待上游输出时会空闲。需要配合微批次micro-batch来减少气泡。实际训练大模型时通常是三种策略混合使用。比如Megatron-LM的经典配置是张量并行8路 流水线并行4路 数据并行2路总共64张卡。这种配置下NVLink带宽和Infinity Fabric带宽就是决定性因素。3.3 混合精度训练的配置要点混合精度训练是提升吞吐、降低显存的标准操作但配置不当会导致训练不稳定甚至发散。核心要点有三个第一精度选择。A100/H100/H200/MI300X都支持BF16BF16的数值范围比FP16大不容易溢出是首选。RTX 4090/5090也支持BF16但消费级卡的BF16吞吐和FP16一致没有额外优势。如果框架支持FP8H100/H200/MI300X可以尝试FP8训练但需要配合动态缩放dynamic scaling。第二损失缩放Loss Scaling。FP16训练必须用损失缩放来防止梯度下溢。BF16通常不需要但某些模型可能仍需要。PyTorch的AMP自动混合精度模块会自动处理损失缩放建议直接用AMP而不是手动管理。第三主权重精度。混合精度训练中模型的主权重通常保持FP32前向和反向用FP16/BF16。这样既能享受低精度计算的速度又能保持权重更新的精度。PyTorch的AMP会自动维护FP32主权重。实操心得混合精度训练初期建议先用小学习率跑几百步观察loss曲线是否稳定。如果出现loss突然飙升或NaN先检查损失缩放配置再检查模型里是否有不适合低精度的操作比如某些归一化层。3.4 显存优化技巧显存不够是训练中最常见的问题。除了换卡还有几个软件层面的优化技巧梯度检查点Gradient Checkpointing用计算换显存。前向传播时不保存中间激活值反向传播时重新计算。能把激活值显存降低到原来的1/3到1/5代价是训练速度降低20%-30%。PyTorch的torch.utils.checkpoint可以直接用。梯度累积Gradient Accumulation用多个小batch的梯度累积成一个大batch的效果。不降低显存峰值但能让你用更小的batch size跑起来。适合显存刚好差一点的情况。ZeRO优化器DeepSpeed的ZeRO系列把优化器状态、梯度、参数分片到多张卡上大幅降低单卡显存占用。ZeRO-1分片优化器状态ZeRO-2再分片梯度ZeRO-3再分片参数。ZeRO-3能把显存占用降到单卡的1/NN是卡数但通信开销增加。LoRA/QLoRA参数高效微调方法只训练一小部分额外参数冻结原模型权重。能把7B模型微调的显存需求从80GB降到24GB以下。QLoRA进一步把原模型量化到4-bit显存需求更低。我自己的经验是优先用LoRA/QLoRA做微调实在需要全参微调再用ZeRO梯度检查点。显存优化是有代价的能不用就不用。4. 常见问题与排查实录训练过程中遇到的问题五花八门我整理了几个高频问题和排查思路都是实际踩过的坑。4.1 训练速度不达预期这是最常见的问题。表现是GPU利用率低比如只有30%-50%训练速度远低于理论值。排查思路如下先看数据加载是不是瓶颈。用nvidia-smi看GPU利用率如果利用率波动很大忽高忽低大概率是数据加载跟不上。解决办法是增加DataLoader的num_workers或者把数据预处理放到GPU上做。再看是不是显存带宽瓶颈。如果GPU利用率稳定但不高比如60%而且模型里有大量element-wise操作可能是显存带宽不够。这种情况换卡才能根本解决软件层面可以尝试融合算子比如用FlashAttention替代标准Attention。最后看是不是通信瓶颈。多卡训练时如果扩展效率低用NCCL的调试工具看通信时间占比。如果通信时间超过计算时间说明互联带宽不够需要换NVLink或调整并行策略。4.2 多卡训练扩展效率低多卡扩展效率低的原因通常有三个通信瓶颈、负载不均衡、同步开销。通信瓶颈最常见。用PCIe连接的4090做张量并行扩展效率会非常低。解决办法是改用数据并行或者换NVLink连接的卡。负载不均衡在流水线并行中很常见。如果模型各层的计算量差异大某些卡会等其它卡。解决办法是调整层的分配让每张卡的计算量尽量均衡。同步开销在数据并行中要注意。如果batch size太小All-Reduce的通信时间占比会很高。解决办法是增大batch size或者用梯度累积来模拟大batch。4.3 训练过程中loss异常Loss异常的表现有loss不下降、loss震荡、loss突然飙升、loss变成NaN。排查思路如下先检查学习率。学习率太大会导致loss震荡或飙升太小会导致loss不下降。用学习率预热warmup能缓解初期的不稳定。再检查数据。数据里有异常样本比如全零、全NaN会导致loss异常。建议在训练前做数据清洗和检查。然后检查混合精度配置。FP16训练如果没有正确的损失缩放梯度会下溢loss会变成NaN。BF16通常没这个问题但某些操作可能仍需要调整。最后检查模型初始化。初始化不当会导致梯度消失或爆炸。用框架默认的初始化方法通常没问题自定义模型要特别注意。4.4 常见问题速查表问题现象可能原因排查方法解决方案GPU利用率低数据加载瓶颈看利用率波动增加num_workersGPU利用率低显存带宽瓶颈看模型操作类型融合算子或换卡多卡扩展效率低通信瓶颈看NCCL通信时间换NVLink或改并行策略Loss不下降学习率太小看loss曲线增大学习率Loss震荡学习率太大看loss曲线减小学习率或加warmupLoss变NaN混合精度配置错误检查损失缩放调整AMP配置显存OOMbatch size太大看显存占用减小batch或梯度累积显存OOM模型太大看参数量用ZeRO或LoRA训练速度慢梯度检查点开销看是否开启权衡显存和速度多卡训练卡死通信死锁看NCCL日志检查并行策略配置4.5 独家避坑技巧几个文档里不会写但实际很有用的技巧技巧一先用小模型验证多卡配置。在正式训练大模型之前用一个很小的模型比如几层Transformer跑一遍多卡流程确认通信、并行策略、数据加载都没问题。这样能提前发现配置错误避免浪费大量时间。技巧二监控GPU温度和功耗。消费级卡长时间满载训练时温度和功耗可能触发降频。用nvidia-smi -q -d TEMPERATURE,POWER监控如果温度超过85度或功耗频繁触顶需要改善散热或降低负载。技巧三保存训练状态的频率要合理。保存太频繁会拖慢训练保存太少一旦中断损失大。建议根据单步时间设置一般每几百到几千步保存一次。同时开启异步保存避免保存时阻塞训练。技巧四多卡训练时固定随机种子。多卡训练的随机性来源更多数据打乱、初始化、dropout等固定随机种子能让实验可复现。PyTorch的torch.manual_seed和numpy.random.seed都要设。技巧五MI300X用户注意ROCm版本和框架版本的匹配。AMD的ROCm生态更新很快不同版本的PyTorch对ROCm的支持程度不同。建议用AMD官方提供的Docker镜像里面已经配好了兼容的版本组合能省很多事。5. 显卡选型的长期考量选卡不是一锤子买卖还要考虑长期的使用成本和扩展性。功耗和散热H100/H200的TDP是700WA100是400WMI300X是750WRTX 4090是450WRTX 5090是575W。数据中心卡需要专门的服务器和散热方案消费级卡在普通机箱里就能跑但多卡时散热压力也很大。电费成本在长期运行中不可忽视按7x24小时运行算H100一年的电费就超过1000美元。二手残值数据中心卡的二手残值通常比消费级卡高。A100用了几年还能卖个不错的价格4090的二手价格波动较大。如果考虑长期持有和更新换代数据中心卡的保值率更好。生态锁定NVIDIA的CUDA生态目前还是最成熟的大部分框架和模型都是CUDA优先。AMD的ROCm在进步但某些细分场景比如自定义CUDA算子、某些研究库可能没有ROCm支持。选MI300X之前建议先确认你的技术栈是否完全兼容。云 vs 自建如果训练需求不是持续的用云GPU可能更划算。按需付费不用了随时释放没有硬件折旧和维护成本。但如果训练是持续的自建的长期成本更低。我一般建议短期项目或实验用云长期稳定训练自建。未来升级路径选卡时考虑一下未来的升级路径。比如你现在买4090未来想升级到H100电源、机箱、主板可能都要换。如果一开始就选数据中心卡平台升级路径更平滑。5.1 不同预算下的配置方案最后给几个不同预算下的配置方案供参考预算1-2万人民币单张RTX 4090或5090配一台普通工作站。适合个人开发者做中小模型训练、LoRA微调、推理部署。预算5-10万人民币两张RTX 4090或5090配服务器级主板和电源。适合小团队做数据并行训练但要注意PCIe通信瓶颈。预算20-50万人民币单台4卡A100 80GB服务器NVLink连接。适合中型团队做7B-13B模型的全参微调或中等规模预训练。预算50-100万人民币单台8卡H100或H200服务器NVLink全互联。适合大型团队做30B以上大模型训练。预算100万以上多台8卡H100/H200集群配InfiniBand网络。适合企业级大模型预训练和多模态训练。MI300X适合作为A100/H100的替代方案在预算有限但需要大显存的场景下很有竞争力。但建议先小规模验证ROCm生态的兼容性确认没问题再大规模采购。我个人在实际操作中的体会是显卡选型没有标准答案关键是匹配你的实际需求。不要盲目追求最贵的卡也不要为了省钱牺牲关键能力。先想清楚你的模型需要多少显存、你的训练是计算瓶颈还是通信瓶颈、你的预算是多少然后在这三个约束下找最优解。踩过几次坑之后你会发现最合适的卡往往不是参数最漂亮的那张而是让你的训练流程最顺畅的那张。