单机还是分布式，不应只看模型参数量，也要看输入尺寸、批量大小、训练时限和设备间通信条件。实用的深度学习训练资源规划方法，是先估算单次训练能否稳定运行，再判断增加设备能否带来足够收益。
先估算模型和训练过程的资源需求
参数量只代表一部分显存占用。训练时还要保存梯度、优化器状态和中间激活；输入越长、批量越大，激活占用通常越高。以7B参数模型为例，若权重采用16位格式，单是权重约需14GB；训练时加上梯度和优化器状态，内存需求可能达到数十GB至百GB以上，具体取决于优化器、精度和是否进行状态切分。检查点文件大小也不等于训练所需显存。
图像任务也有类似差异：ResNet-50处理较小图片，与处理高分辨率图片时的激活占用并不相同。规划前应记录模型参数量、输入尺寸或序列长度、每步批量、目标训练轮数，以及可用设备的内存和互连条件。
单机适合可装入设备、通信需求较低的任务
如果模型和训练状态能放进一台机器的内存，单机训练通常更容易配置、调试和复现。它省去了跨机器同步，程序故障点较少，适合验证新模型、处理中小规模数据，或训练时间尚可接受的任务。单机也可以使用多张加速卡，但卡间通信和显存分配仍需考虑。
限制在于单机可用内存和计算能力有上限。若频繁出现内存溢出、批量被迫压得过小，或训练总时长超出安排，再继续堆叠单机设备未必经济。可先尝试梯度累积、混合精度、激活检查点等办法；这些方法各有速度或计算开销，应通过小规模测试确认收益。
分布式适合内存或吞吐成为瓶颈的任务
数据并行让多台设备处理不同样本，再同步梯度，适合模型能在每个工作进程中放下、但希望提高样本处理速度的情况。缺点是每轮同步会产生通信开销；网络带宽不足、设备利用率不高或批量太小时，增加机器可能只增加成本，训练速度未必按设备数同比提升。
若单个模型副本无法装入一台设备，可采用张量并行、流水线并行或优化器状态切分，把模型计算或状态分散到多台设备。此类方案能缓解单卡内存限制，但实现和调试更复杂，对设备互连、任务切分及负载均衡更敏感。深度学习训练资源规划方法应据此区分“需要更多吞吐”和“单机放不下”这两类问题，避免选错并行方式。
用小规模测试确定资源方案
- 盘点任务。确定模型规模、输入规格、数据量、目标训练时限和可接受的成本上限。
- 估算内存。分别核对权重、梯度、优化器状态和激活占用；预留约10%至20%的余量作为起点，长序列或波动较大的任务需要更多余量。
- 先跑基线。在一台机器上运行短测试，记录每秒处理样本数、设备利用率、峰值内存和检查点耗时。测试应覆盖实际输入规格，而不是只用简化样本。
- 对比分布式收益。在计划使用的并行方式和网络环境中重复测试，比较每步耗时、扩展后的吞吐和总资源成本。按任务规模外推时，应留意通信和数据读取带来的变化。
- 预留恢复空间。安排定期保存检查点，并核实保存位置、读取速度和恢复流程。模型越大，检查点传输和存储越值得纳入排期。
常见问题
什么时候应该从单机转向分布式？
单机无法容纳必要的训练状态，或实测吞吐无法满足训练时限时，再评估分布式；先确认瓶颈不是数据读取或配置问题。
增加设备一定能缩短训练时间吗？
不一定。同步通信、数据供给和并行效率都会影响结果，应以目标环境下的短测试为准。
模型能放进单机，就不需要分布式吗？
未必。若数据量大、训练周期紧，数据并行仍可能提升吞吐；是否划算取决于扩展后的速度与资源成本。
规划时最容易漏掉什么？
常见遗漏包括激活占用、检查点保存时间、网络通信以及训练中断后的恢复需求。把这些因素纳入深度学习训练资源规划方法，才能让设备选择与实际任务规模相匹配。
