pytorch 推理运行过程爆显存 pytorch 推理

本教程旨在PyTorch深度学习模型在推理时输出结果不一致的非确定性问题。通过阐述详细导致非确定性的原因，并提供一套全面的随机种子解决设置和环境配置策略，包括PyTorch、NumPy和Python内置随机库的配置，确保模型推理结果在一致输入下始终可复现，提升开发和调试效率。1. 引言：深度学习中的可复现性挑战

在深度学习模型的开发和部署过程中，确保实验结果的可复现性关键。然而，许多开发者会遇到一个常见的问题：即使使用相同的模型、权限重和输入数据，模型的结果输出（例如，检测到的目标数量、类别标签、这种非确定性行为不仅不会阻碍调试过程，也使得模型性能的评估变得不可靠。本教程将深入探讨导致pytorch模型推理非确定性的原因，并提供一套行之有效的解决方案，以确保您的模型输出始终保持一致。2. 问题描述：RetinaNet 推理结果的不确定性

考虑一个使用预训练RetinaNet 模型进行实例分割的场景。用户报告称，即使对同一个图像包含单个“人”的进行推理，模型的输出（例如预测[0]['标签']）也可以在每次执行时随机变化，包括检测到的标签数量和具体标签值。这表明模型在推理过程中存在非确定性因素。

以下是源代码片段，其中显示了非确定性行为：import numpy as npimport torchfrom torch import Tensorfrom torchvision.models.detection import retinanet_resnet50_fpn_v2， RetinaNet_ResNet50_FPN_V2_Weightsimport torchvision.transforms as Timport PILfrom PIL import Imageimport random # 需要import os # 需要导入class RetinaNet： def __init__(self，weights： RetinaNet_ResNet50_FPN_V2_Weights = RetinaNet_ResNet50_FPN_V2_Weights.COCO_V1)： self.weights =weights # 加载预训练模型，确保使用预训练权重 self.model = retinanet_resnet50_fpn_v2( weights=RetinaNet_ResNet50_FPN_V2_Weights.COCO_V1 # 明确指定权重 ) self.model.eval() self.device = 'cuda' if torch.cuda.is_available() else 'cpu' self.model.to(self.device) self.transform = T.Compose([ T.ToTensor()， ]) def infer_on_image(self， image： PIL.Image.Image， label： str) -gt； Tensor： input_tensor = self.transform(image) input_tensor = input_tensor.unsqueeze(0) # 注意：input_tensor.to(self.device) 会返回一个新的张量，原张量不变 # 正确做法是：input_tensor = input_tensor.to(self.device) input_tensor = input_tensor.to(self.device) #使用torch.no_grad()确保输入张量在正确的设备上：predictions = self.model(input_tensor) label_index = self.get_label_index(label) # 这里的打印输出显示了非确定性 print('labels'，predictions[0]['labels']) box = Predictions[0]['boxes'][predictions

[0]['labels'] == label_index] mask = torch.zeros((len(boxes)， input_tensor.shape[1]， input_tensor.shape[2])， dtype=torch.uint8) for i， box in enumerate(boxes.cpu().numpy())： x1， y1， x2， y2 = map(int， box) mask[i， y1：y2， x1：x2] = 1 return mask def get_label_index(self，label： str) -gt； int： 返回 self.weights.value.meta['categories'].index(label) def get_label(self， label_index： int) -gt； str： 返回 self.weights.value.meta['categories'][label_index] @staticmethod def load_image(file_path： str) -gt； PIL.Image.Image： 返回Image.open(file_path).convert(quot；RGBquot；)# if __name__ 部分需要添加确定性设置登录后复制3. 非确定性的来源

深度学习模型中的非确定性可能来源于多个方面：随机数生成器（RNGs）：Python内置的随机模块。NumPy库的随机数生成器。PyTorch的CPU和CUDA随机数生成器。模型初始化（如果模型不是完全预且训练冻结）。GPU操作：cuDNN库：性能优化，cuDNN可能会使用非确定性算法（例如，某些定向算法）。CUDA 内核：某些 CUDA 操作（如原子操作）在执行时可能会导致结果不一致。多线程/线程处理：数据加载器（DataLoader）在多进程网格线程模式下，数据增强的随机性可能无法被单一种子控制。操作的执行顺序不确定性。环境因素：不同版本的 PyTorch、CUDA、cuDNN 库可能导致行为差异。网络和硬件差异。4. 确保复现性的策略：统一设置随机种子

为了上述非确定性问题，核心策略是在代码执行的早期，统一设置所有相关随机数生成器的种子，并配置PyTorch内部以使用确定性算法。

4.1 全局随机种子设置

在脚本的入口点（例如 if __name__ == '__main__'：块的开始），添加以下代码来设置全局随机种子：# ... (导入其他) ...import randomimport osif __name__ == '__main__'： # ---保证可重复性的设置 --- Seed = 3407 # 选择一个固定随机种子作为随机种子 # 1. 设置Python内置的随机生成器random.seed(seed) # 2. 设置 NumPy 的随机数据生成器 np.random.seed(seed) # 3. PyTorch 的 CPU 随机数据生成器 torch.manual_seed(seed) # 4. 设置 PyTorch 的 CUDA（GPU）随机数据生成器 if torch.cuda.is_available()： torch.cuda.manual_seed(seed) # 为当前 GPU 设置种子torch.cuda.manual_seed_all(种子) # 为所有GPU设置种子（如果使用多GPU） # 5.配置PyTorch以使用确定性算法 # 强制cuDNN使用确定性算法，可能会牺牲一些性能 torch.backends.cudnn.definistic = True # 取消cuDNN的自动调优，以确保每次都使用相同的算法 torch.backends.cudnn.benchmark = False # 6.设置Python丢失种子，某些影响人工智能操作的随机性 #注意：此设置通常在Python解释器启动前需要完成，或在脚本开始时提前设置 os.environ['PYTHONHASHSEED'] = str(seed) # --- 确定性设置结束 --- from matplotlib import pyplot as plt image_path = 'person.jpg' # Run inference retinanet = RetinaNet() mask = retinanet.infer_on_image( image=retinanet.load_image(image_path)， label='person' ) # 绘制图像 plt.imshow(retinanet.load_image(image_path)) plt.show() # PLot mask for i，mask in enumerate(masks)： mask = mask.unsqueeze(2) plt.title(f'mask {i}') plt.imshow(mask) plt.show()登录后复制

解释：seed = 3407：seed = 3407：选择一个固定的整数作为种子。任何整数都可以，只要每次运行都保持一致。

random.seed(seed)：控制Python内置随机模块的随机行为。np.random.seed(seed)：控制NumPy库的随机行为，这对于数据删除或涉及NumPy随机操作的位置很重要。torch.manual_seed(seed)：控制PyTorch在CPU上的随机数。生成torch.cuda.manual_seed(seed) / torch.cuda.manual_seed_all(seed)：控制PyTorch在GPU上的随机数生成。manual_seed_all在多GPU环境中尤其重要。torch.backends.cudnn.definistic = True：强制cuDNN使用确定性算法。这意味着在某些操作（如稀疏）中，即使存在快捷的非确定性算法，也可以选择确定性版本。torch.backends.cudnn.benchmark = False：禁用cuDNN 的自动寻找最佳梯度算法的功能。如果启用，cuDNN会在每次运行时尝试不同的算法以最快的，这可能会引入不确定性。禁用后，它会使用默认或预设的算法。os.environ['PYTHONHASHSEED'] = str(seed)：影响Python中稀疏操作的随机性。某些数据结构（如字典）的迭代顺序可能会确定。4.2加载器中的确定性（如适用）

如果您的模型推理涉及到 torch.utils.data.DataLoader，尤其是在使用多进程工作器（num_workers gt； 0）时，还需要为数据加载器本身设置确定性。通常通过向 DataLoader 指定一个 torch.Generator 实例来实现：# 假设您有一个数据集 my_dataset# from torch.utils.data import DataLoader， Dataset# class MyDataset(Dataset)：# def __len__(self)： return 100# def __getitem__(self， idx)： return torch.randn(3， 224， 224)， 0# 在DataLoader初始化创建之前并设置生成器 g = torch.Generator()g.manual_seed(seed) # 使用与全局设置相同的种子# DataLoader，然后创建生成器# dataLoader = torch.utils.data.DataLoader(# my_dataset，# batch_size=32，# num_workers=4， # 如果num_workers gt； 0，则此设置极其重要#worker_init_fn=lambda worker_id： np.random.seed(seed worker_id)， # 为每个worker设置不同的种子#generator=g# )登录后复制

注意：当 num_workers gt； 0 时，每个工作进程都会有自己的随机数生成器。

为了保证这些工作进程的随机性也一致或可控，通常需要结合worker_init_fn来为每个工作进程设置一个基于主种子和工作进程ID的独立性。5. 注意事项与最佳实践性能影响：将 torch.backends.cudnn.definistic 设置为 True 可能会导致某些 GPU 操作的性能下降，因为 cuDNN 可能无法使用最快的非确定性算法。在对性能要求极高的生产环境中，您可能需要权衡可恢复性和速度。环境一致性：即使设置了所有随机种子，不同版本的 PyTorch、CUDA、cuDNN甚至操作系统和硬件都可能导致结果出现差异。为了完全的可复性，应注意保持整个软件堆栈和硬件环境的一致性。torch.use_definistic_algorithms(True)：对于PyTorch 1.8及更高版本，可以使用torch.use_definistic_algorithms(True)来替代torch.backends.cudnn.definistic = True和torch.backends.cudnn.benchmark =错误。这个 API 更全面，如果遇到未确定的操作，会检查并报错。# PyTorch 1.8 # torch.use_deterministic_algorithms(True)# os.environ['CUBLAS_WORKSPACE_CONFIG'] = '：4096：8' # 有些 CUDA 版本可能需要此环境变量登录后复制训练：在多个训练（如DDP）中实现完全的确定性更加复杂，可能需要额外的同步和种子管理策略。模型初始化：如果您的模型在加载预训练权重后仍然包含未冻结的层，并且这些层的初始化是随机的，那么您需要在实例模型化设置种子，或者确保这些层则被冻结。对于本例中的预训练模型，如果权重已完全加载，之前此问题不突出。6. 总结

通过在代码的入口点统一设置Python、NumPy和PyTorch（CPU/CUDA）的随机种子，并配置PyTorch实验室使用确定性算法，可以有效地解决深度学习模型推理中的非确定性问题。这不仅有利于提升调试效率，保证模型行为的一致性，也为模型性能的可靠评估奠定了基础。在确定可复现性的同时，请务必权衡其可能带来的性能影响，并根据您的具体应用场景选择最合适的策略。

以上就是解决PyTorch模型推理的非确定性：确保结果可复现的实践指南的详细内容，更多请关注乐哥常识网相关其他文章！