1. 两张老卡放到今天，到底该怎么选
手里攥着预算，盯着二手市场上两张常年霸榜的推理卡——Nvidia T4 和 P100，这大概是很多做模型部署、跑小规模训练、搭个人推理服务的人都会遇到的岔路口。这两张卡都不是新面孔了，T4 是 2018 年图灵架构的产物，P100 更早，2016 年帕斯卡架构的旗舰计算卡。放到今天，它们都算不上"新"，但在二手价格、功耗、显存这几个维度上，依然有大量人在用它们跑实际业务。我自己前后折腾过好几轮，从早期的深度学习入门，到后来给一些小项目做推理后端，这两张卡都深度用过，踩过的坑不算少。
这篇文章想解决的问题很具体：当你面对 T4 和 P100 这两个选项时，到底该基于什么维度做决策。不是简单甩一句"T4 更新所以更好"，也不是"P100 显存大所以更强"，而是把架构差异、显存带宽、精度支持、功耗散热、实际跑分、驱动兼容、二手行情这些真实影响使用体验的因素拆开讲清楚。适合的人群包括：想搭一台低成本推理服务器的开发者、做模型微调但预算有限的学生或小团队、需要给现有机器加一张计算卡的老机器升级党，以及单纯想搞清楚这两张卡差异的技术爱好者。
我先把结论性的判断放在前面，方便你快速定位：如果你的工作负载以推理为主、对 FP16/INT8 有需求、机器供电和散热条件一般，T4 是更省心的选择；如果你需要大显存跑大模型或者做 FP32/FP64 计算、机器有充足的供电和散热余量、能接受折腾驱动，P100 16G 在特定场景下性价比更高。但这个结论有很多前提条件，下面逐层拆开。
2. 架构代差背后的真实差异
2.1 图灵与帕斯卡：两代架构的核心分野
T4 用的是图灵架构的 TU104 核心，12nm 工艺，2560 个 CUDA 核心，搭配 320 个 Tensor Core。P100 用的是帕斯卡架构的 GP100 核心，16nm 工艺，3584 个 CUDA 核心，但没有 Tensor Core。这个"有没有 Tensor Core"是两者最本质的分水岭，直接决定了它们在混合精度计算上的表现差距。
Tensor Core 是专门为矩阵乘加运算设计的硬件单元，FP16 输入、FP32 累加的混合精度矩阵运算在 Tensor Core 上能获得数倍的吞吐提升。T4 的 FP16 算力标称 65 TFLOPS（Tensor Core），而 P100 的 FP16 算力是 19.05 TFLOPS（非 Tensor Core，靠 CUDA 核心硬算）。这个差距在跑 Transformer 类模型、卷积网络推理时体现得非常明显。我实测过一个中等规模的检测模型，T4 上 FP16 推理的吞吐大概是 P100 的 2.5 到 3 倍，这个倍数在不同模型上会有浮动，但量级是稳定的。
但 P100 也有它的杀手锏：FP64 双精度算力。P100 的 FP64 算力高达 4.7 TFLOPS，而 T4 的 FP64 只有 0.26 TFLOPS，差了将近 18 倍。如果你做的是科学计算、数值仿真、某些需要双精度的传统 HPC 负载，P100 在这个维度上是碾压性的。不过话说回来，现在做深度学习的人基本用不到 FP64，这个优势对大多数读者来说意义不大，除非你的工作流里确实有双精度计算环节。
2.2 显存规格：16G 对 16G，但带宽差一倍
两张卡都有 16GB 显存版本（T4 只有 16GB 一个版本，P100 有 12GB 和 16GB 两个版本，买的时候要看清）。显存容量一样，但显存类型和带宽差距巨大。T4 用的是 GDDR6，带宽 320 GB/s；P100 16G 用的是 HBM2，带宽 732 GB/s。P100 的显存带宽是 T4 的两倍多。
这个差异在大模型推理、大 batch 训练、需要频繁搬运数据的场景下会体现出来。显存带宽决定了数据从显存到计算单元的喂料速度，带宽不够的时候，计算单元会"饿着"，算力再高也发挥不出来。我跑过一个显存占用接近 14GB 的大模型推理，P100 在高 batch 下的表现确实更稳，T4 在 batch 拉大之后延迟上升更明显。但反过来说，T4 的 GDDR6 在功耗控制上更友好，这也是它能把整卡功耗压到 70W 的原因之一。
这里有个容易被忽略的点：P100 的 HBM2 显存是跟核心封装在一起的，坏了基本没法修，二手卡的风险更高。而 T4 的 GDDR6 是独立显存颗粒，虽然也不太好修，但至少结构上没那么脆弱。买二手 P100 的时候，显存健康度是必须重点检查的项目，后面会讲怎么查。
2.3 功耗与散热：70W 对 250W 的鸿沟
这是很多人做决策时最容易被低估、但实际影响最大的维度。T4 是 70W TDP 的单槽半高卡，不需要外接供电，直接插在 PCIe 插槽上就能工作，靠被动散热（需要机箱风道）或者加个小风扇就能压住。P100 是 250W TDP 的双槽全高卡，需要 8pin 外接供电，主动涡轮散热，对机箱空间、电源功率、风道都有要求。
我见过太多人买了 P100 回去发现电源带不动、机箱塞不下、散热压不住，最后卡在手里。250W 的卡，整机电源建议至少 600W 起步，而且要看 8pin 供电线够不够。T4 就随和多了，一台普通的办公机、甚至一些小型工作站，插上就能用，对整机几乎没压力。如果你是要给一台老机器升级、或者搭一个多卡的小型推理节点，T4 在功耗和散热上的优势会直接转化成部署的便利性和长期运行的稳定性。
提示：T4 是单槽半高设计，多卡部署时对主板 PCIe 间距要求低，但被动散热版本必须保证机箱有足够风道，否则会降频。P100 是双槽全高，多卡部署要算好间距和总功耗。
3. 精度支持与实际跑分对比
3.1 各精度算力对照表
把两张卡的关键算力参数摆在一起看，差异一目了然。下面这张表是我根据公开规格整理的，实际跑分会因为模型、框架、驱动版本有浮动，但相对关系是可靠的。
| 参数项 | Nvidia T4 | Nvidia P100 16G |
|---|---|---|
| 架构 | 图灵 TU104 | 帕斯卡 GP100 |
| 工艺 | 12nm | 16nm |
| CUDA 核心 | 2560 | 3584 |
| Tensor Core | 有（320 个） | 无 |
| FP32 算力 | 8.1 TFLOPS | 9.3 TFLOPS |
| FP16 算力 | 65 TFLOPS（Tensor） | 19.05 TFLOPS |
| FP64 算力 | 0.26 TFLOPS | 4.7 TFLOPS |
| INT8 算力 | 130 TOPS | 不支持原生 |
| 显存类型 | GDDR6 16GB | HBM2 16GB |
| 显存带宽 | 320 GB/s | 732 GB/s |
| TDP | 70W | 250W |
| 供电 | 无需外接 | 8pin 外接 |
| 形态 | 单槽半高 | 双槽全高 |
从表里能读出几个关键信息：FP32 单精度算力两者接近，P100 略高一点；FP16 和 INT8 是 T4 的主场，Tensor Core 带来的优势是数量级的；FP64 是 P100 的独门绝技。显存带宽 P100 翻倍，但功耗也翻了三倍多。
3.2 推理场景实测感受
我拿几个典型负载做过对比，环境是同一台机器（电源和散热都按 P100 的要求配足），驱动和框架版本尽量对齐。测试模型包括一个中等规模的图像分类网络、一个目标检测模型、一个轻量级的语言模型。这些不是严谨的基准测试，只是我实际使用中的体感记录，供参考。
图像分类推理，batch size 拉到 32 的时候，T4 开 FP16 + Tensor Core，吞吐大概是 P100 FP16 的 2.8 倍左右。检测模型因为后处理环节有 CPU 参与，差距会缩小一些，大概 2 倍出头。语言模型推理，T4 的 INT8 量化之后优势更明显，P100 没有原生 INT8 支持，只能靠 FP16 或者软件模拟，效率差不少。
但有个反例：当我跑一个显存占用很大、batch 也拉得很大的场景时，P100 的高带宽开始发挥作用，T4 因为带宽瓶颈，延迟增长曲线更陡。所以不是所有推理场景 T4 都赢，要看你的 batch 策略和显存压力。小 batch、低延迟、追求吞吐的场景，T4 优势明显；大 batch、显存吃紧、数据搬运密集的场景，P100 的带宽能扳回一些。
3.3 训练场景的取舍
如果是做微调或者小规模训练，情况又不一样。T4 的 FP16 训练配合混合精度，速度上确实快，但 70W 的功耗墙意味着它没法长时间满血跑，散热不好的话会降频。P100 虽然老，但 250W 的功耗预算和更高的显存带宽，在训练时反而更"稳"，尤其是需要大 batch 或者大显存的训练任务。
不过要提醒一句：P100 没有 Tensor Core，混合精度训练的支持不如 T4 完善。很多框架的自动混合精度（AMP）在 P100 上要么不生效，要么收益很小，你得手动处理精度转换，折腾成本高。T4 上开 AMP 基本是开箱即用，省心很多。如果你主要做训练且依赖混合精度，T4 的软件生态友好度明显更高。
4. 部署实操：从装卡到跑通第一个模型
4.1 硬件准备与装机要点
先说 T4 的装机。单槽半高卡，插上 PCIe 插槽，拧好挡板螺丝就行，不需要外接供电。但有两个细节要注意：一是被动散热版本必须有风道，我一般会在卡旁边加一个 40mm 或者 60mm 的小风扇对着吹，成本很低但能有效避免降频；二是确认主板 PCIe 插槽的供电能力，虽然 T4 只要 70W，但有些老主板的插槽供电偏弱，多卡的时候要留意。
P100 的装机就讲究多了。双槽全高，先确认机箱空间够不够，尤其是长度和高度。8pin 供电线要接好，电源功率按整机 600W 以上准备。涡轮散热卡的进风口在卡的一端，出风口在挡板处，机箱风道要保证前进后出，别让热风在机箱里打转。我踩过的坑是：一开始用了个小机箱，P100 装进去之后涡轮吸不到足够冷空气，满载温度直接冲到 85 度以上开始降频，换了大机箱才解决。
注意：P100 的涡轮风扇噪音不小，放在办公环境里会比较吵，如果对噪音敏感，要么单独放机房/储物间，要么做好隔音。T4 加小风扇的方案噪音低很多。
4.2 驱动与框架环境配置
驱动这块，两张卡都建议用较新的长期支持版本驱动，但要注意 P100 作为老架构，新驱动对它的优化支持在逐步减少，某些最新特性可能用不上。T4 的图灵架构支持情况好一些，Tensor Core 相关的库和框架优化也更完善。
CUDA 版本选择上，T4 建议 CUDA 11.x 及以上，能充分发挥 Tensor Core 和 INT8 的能力；P100 用 CUDA 10.x 或 11.x 都可以，但太新的版本可能对帕斯卡架构的支持不够完整。框架方面，PyTorch 和 TensorFlow 对两张卡都支持，但 T4 在较新版本的框架里能吃到更多针对图灵的优化。
配置环境的时候有个实操技巧：先用nvidia-smi确认卡被正确识别，再用一个最小的矩阵运算脚本验证算力是否正常，别一上来就跑大模型，出问题不好定位。我一般会跑一个简单的 FP16 矩阵乘法，对比理论算力看是否在合理范围内，如果差太多，多半是驱动或者散热降频的问题。
# 查看显卡状态和功耗温度 nvidia-smi -q -d POWER,TEMPERATURE,CLOCK # 持续监控，观察是否降频 nvidia-smi --query-gpu=timestamp,name,temperature.gpu,power.draw,clocks.sm --format=csv -l 14.3 第一个推理任务的跑通流程
拿一个图像分类模型举例，把流程走一遍。先装好 PyTorch 和对应的 CUDA 版本，加载预训练模型，把模型搬到 GPU 上，然后跑推理。T4 上记得开 FP16，用model.half()或者torch.cuda.amp，能明显提速。P100 上 FP16 也能用，但没有 Tensor Core 加速，收益有限，可以先用 FP32 跑通再说。
import torch import torchvision.models as models device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model = models.resnet50(pretrained=True).to(device) # T4 上建议开启 FP16 if torch.cuda.get_device_name(0).find("T4") != -1: model = model.half() model.eval() dummy_input = torch.randn(1, 3, 224, 224).to(device) if torch.cuda.get_device_name(0).find("T4") != -1: dummy_input = dummy_input.half() with torch.no_grad(): output = model(dummy_input) print(output.shape)跑通之后，用nvidia-smi观察显存占用、功耗、温度，确认卡在正常工作区间。T4 满载功耗应该在 70W 附近，温度控制在 80 度以下比较理想；P100 满载 250W 左右，温度 85 度以下算正常，超过就要检查散热了。
5. 二手选购与常见问题排查
5.1 二手卡的健康度检查清单
这两张卡现在基本都在二手市场流通，买之前必须做健康检查。我整理了一个检查清单，按重要性排序。
| 检查项 | 检查方法 | 合格标准 |
|---|---|---|
| 显存健康 | 跑显存测试工具或长时间大显存负载 | 无报错、无花屏 |
| 温度表现 | 满载跑 10 分钟看温度曲线 | T4 低于 85 度，P100 低于 88 度 |
| 功耗是否达标 | nvidia-smi看满载功耗 | 接近标称 TDP |
| 是否矿卡 | 看外观、问来源、查使用痕迹 | 尽量避开长期高负载卡 |
| 风扇状态 | 手动拨动、听运转声音 | 无异响、转速正常 |
| 接口完好 | 检查 PCIe 金手指、供电口 | 无氧化、无烧灼痕迹 |
P100 因为是 HBM2 封装显存，显存出问题的修复成本极高，所以显存测试一定要做扎实。T4 相对好一点，但也要测。矿卡风险方面，P100 当年在矿潮里被大量使用过，市面上流通的很多是矿卡翻新，买的时候要格外小心；T4 因为功耗低、算力在挖矿上不占优势，矿卡比例相对低一些，但也不能完全排除。
5.2 常见问题速查
实际使用中遇到的问题，我整理成速查表，方便对照排查。
| 现象 | 可能原因 | 排查与解决 |
|---|---|---|
| 卡识别不到 | 插槽接触不良、供电不足、驱动问题 | 重插、换插槽、检查供电、重装驱动 |
| 满载降频 | 散热不足、功耗墙、温度过高 | 改善风道、加风扇、清理灰尘 |
| 显存报错 | 显存颗粒故障、超频不稳 | 降频使用、跑显存测试、考虑退换 |
| 推理速度远低于预期 | 未开 FP16、batch 太小、CPU 瓶颈 | 开混合精度、调 batch、检查数据预处理 |
| 多卡不识别 | PCIe 通道分配、主板支持 | 查主板手册、调整 BIOS 设置 |
| 驱动安装失败 | 系统版本不兼容、旧驱动残留 | 清理旧驱动、换驱动版本、查系统兼容性 |
有个我踩过的坑值得单独说：P100 在某些主板上需要手动在 BIOS 里开启 Above 4G Decoding，否则可能识别不到或者只能识别部分显存。这个设置藏得比较深，不同主板位置不一样，遇到识别异常可以先查这一项。T4 一般没这个问题，但多卡的时候也要留意 PCIe 通道的分配。
5.3 长期使用的维护心得
两张卡长期跑，灰尘是头号敌人。T4 被动散热版本尤其怕积灰，风道一堵温度就上去了，建议每三到六个月清理一次。P100 的涡轮风扇也容易积灰，清理的时候注意别把扇叶弄变形。另外，长期高负载运行的话，建议在监控里设个温度告警，超过阈值就降负载，别等卡出问题再后悔。
功耗方面，T4 长期 70W 运行对电源压力小，电费也省；P100 250W 满载，如果 7x24 跑，电费是一笔不小的开销，算成本的时候要把这部分算进去。我粗略算过，同样跑一年，P100 的电费大概是 T4 的三倍多，这个差异在长期使用中不能忽略。
6. 我的选型建议与场景匹配
6.1 按使用场景对号入座
把前面的分析落到具体场景上，给几个直接的判断。
如果你是做推理服务、追求吞吐和能效、机器条件一般，选 T4。FP16 和 INT8 的加速、70W 的低功耗、单槽半高的易部署性，这三点加起来让它成为低成本推理节点的首选。尤其是你要在一台机器上塞多张卡做并发推理，T4 的功耗和空间优势会被放大。
如果你是需要大显存跑大模型、做 FP32 计算、机器供电散热充足、能接受折腾，P100 16G 可以考虑。732 GB/s 的显存带宽和 16G 显存，在大模型推理和大 batch 场景下有它的价值，价格上二手 P100 通常也比 T4 便宜一些，性价比在特定场景下成立。
如果你是做混合精度训练、依赖框架的 AMP 功能，T4 明显更合适，Tensor Core 和软件生态的配合更成熟。P100 在训练场景下不是不能跑，但混合精度的收益小、折腾成本高。
如果你是做科学计算、需要 FP64，那 P100 是唯一选择，T4 的 FP64 算力基本可以忽略。
6.2 几个容易忽略的决策因素
除了算力和显存，还有几个因素值得纳入决策。驱动和框架的长期支持：T4 作为图灵架构，在新版本软件里的支持周期会更长一些；P100 作为更老的架构，未来某些新特性可能逐步不支持，要有心理准备。二手保值率：T4 因为需求稳定，二手价格相对坚挺；P100 价格波动大，买的时候要看好行情。噪音和部署环境：P100 的涡轮风扇噪音是实打实的，如果部署环境对噪音敏感，这一条可能直接否决 P100。
还有一个现实问题：这两张卡都不是"未来-proof"的选择。它们能解决当下的低成本计算需求，但如果你有长期规划、预算允许，更新的架构在能效和软件支持上会更好。T4 和 P100 的定位是"够用且便宜"，不是"一步到位"。想清楚这一点，决策会轻松很多。
6.3 组合使用的可能性
最后提一个思路：如果预算允许，T4 和 P100 混插在一台机器上也不是不行。T4 负责对延迟敏感、需要 FP16/INT8 的推理任务，P100 负责大显存、大 batch 或者 FP32 的任务，各取所长。不过这需要你对任务调度有比较清晰的规划，框架层面也要做设备指定，折腾成本不低，适合有一定经验的玩家。新手还是建议先单卡跑通，别一上来就搞复杂组合。
我自己现在的配置是一台机器上 T4 做主力推理，P100 留着跑一些大显存的实验性任务，两者分工明确，用起来还算顺手。这套组合不是最优解，但在我这个预算和使用场景下，是折腾成本和实际收益平衡得比较好的方案。选卡这件事，没有绝对的对错，把自己的负载特点、机器条件、预算和折腾意愿这四项摆清楚，答案自然就出来了。
