PyTorch中通过设置随机种子使训练结果可复现-育师

由于存在随机性，在同一台机子上，即使完全一致的代码，默认情况下，PyTorch每次训练的结果也有差异，无法复现。做了少许改动后，重新训练，结果有微小的变化，无法判断这变化是因改动导致的，还是因随机性导致的。

即使代码和各种超参、配置完全相同，只要存在随机性或非确定性算子，PyTorch的多次训练结果几乎多少都会有所差异，差异可能来自随机性、CUDA算子、并行执行、数值精度等多个层面：

1.权重初始化使用随机数，如nn.init.xavier_uniform_

2.DataLoader中的shuffle为True时以及DataLoader中的多进程worker，即num_workers不为0时

3.Dropout在训练时随机丢弃神经元

4.数据增强中RandomCrop、RandomFlip等

5.浮点数运算的非确定性，如浮点数运算的顺序、浮点数运算的累积误差

6.CUDA/GPU中的非确定性算子：Conv2d、BatchNorm等

7.cuDNN中的每次运行可能选不同kernel

即使同一台机子，不同GPU/驱动/CUDA版本也可能有差异

可以通过设置随机种子方式(控制所有随机源)来尝试复现训练结果，但无法保证在不同的PyTorch版本或不同平台上都能获得完全可复现的结果，此外，即使使用相同的随机种子，CPU和GPU执行的结果也可能无法复现。实现及测试代码如下：

import torch import torch.nn as nn import numpy as np import random import os def set_seed(seed=42): os.environ['PYTHONHASHSEED'] = str(seed) os.environ['CUBLAS_WORKSPACE_CONFIG'] = ':4096:8' random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic = True torch.backends.cudnn.benchmark = False torch.use_deterministic_algorithms(True) def seed_worker(worker_id): worker_seed = seed + worker_id np.random.seed(worker_seed) random.seed(worker_seed) return seed_worker def test_random(): data = [random.random() for _ in range(4)] print(f"random: {data}") data = [random.uniform(10, 20) for _ in range(4)] print(f"random: {data}") def test_numpy(): data = np.random.random(4) print(f"numpy: {data}") data = np.random.randn(4) print(f"numpy: {data}") class TinyNet(nn.Module): def __init__(self): super().__init__() self.fc = nn.Linear(8, 6) self.initialize_weights() def initialize_weights(self): nn.init.kaiming_uniform_(self.fc.weight, nonlinearity='relu') def forward(self, x): return self.fc(x) def test_torch(): data = torch.rand(4) print(f"torch: {data}") data = torch.randn(4) print(f"torch: {data}") model = TinyNet() weight_flat = model.fc.weight.flatten() for i in range(min(4, len(weight_flat))): print(f"{weight_flat[i]:.6f}", end=" ") print() # if num_workers is not 0 in DataLoader, then worker_init_fn and generator need to be set # worker_init_fu = seed_worker # set_seed(seed) # generator = torch.Generator().manual_seed(seed) if __name__ == "__main__": seed_worker = set_seed(42) # seed_worker is used by DataLoader test_random() test_numpy() test_torch() print("====== execution completed ======")

说明：

1.random.seed(seed)：Python随机数生成器设置种子

2.np.random.seed(seed)：NumPy随机数生成器设置种子

3.torch.manual_seed(seed)：PyTorch随机数生成器，为所有设备(包括CPU和CUDA)设置随机数生成器种子

4.torch.cuda.manual_seed(seed)：设置当前GPU生成随机数的种子。即使CUDA不可用，调用此函数也是安全的；在这种情况下，它会被静默忽略

5.torch.cuda.manual_seed_all(seed)：设置所有GPU上生成随机数的种子。即使CUDA不可用，调用此函数也是安全的；在这种情况下，它会被静默忽略

6.torch.backends.cudnn.deterministic = True：控制CUDA使用确定性算法

7.torch.backends.cudnn.benchmark = False：禁用基准测试功能，会导致cuDNN确定性地选择一个算法，但这可能会降低性能

8.torch.use_deterministic_algorithms(True)：避免使用非确定性算法。确定性操作通常比非确定性操作慢，因此模型的单次运行性能可能会降低。在已知某个操作是非确定性操作(且没有确定性替代方案)时抛出错误

9.os.environ['CUBLAS_WORKSPACE_CONFIG'] = ':4096:8'：当CUDA版本>=10.2时，需设置环境变量CUBLAS_WORKSPACE_CONFIG

10.os.environ['PYTHONHASHSEED'] = str(seed)：设置哈希种子

执行结果如下图所示：执行多次，每次输出结果相同