ResNet-18与ResNet-34的PyTorch实现指南

2026年1月8日 互联网

ResNet-18与ResNet-34的PyTorch实现指南

深度学习中的残差网络（ResNet）因其解决了深层网络训练中的梯度消失问题，成为计算机视觉领域的经典架构。其中，ResNet-18与ResNet-34凭借适中的参数量和高效的计算性能，广泛应用于图像分类、目标检测等任务。本文将从网络架构设计、PyTorch实现细节、训练优化策略三个维度展开，为开发者提供完整的实现指南。

一、残差网络的核心设计原理

1.1 残差连接与梯度流动

ResNet的核心创新在于引入残差连接（Residual Connection），即通过跳跃连接（Skip Connection）将输入直接传递到后续层，形成恒等映射（Identity Mapping）。数学表达式为：
[ H(x) = F(x) + x ]
其中，( F(x) ) 为残差函数，( H(x) ) 为最终输出。这种设计使得梯度可以通过恒等映射反向传播，解决了深层网络训练中的梯度消失问题。

1.2 网络层数与结构设计

ResNet-18与ResNet-34属于基础型ResNet，其差异主要体现在网络深度：

  • ResNet-18：包含17个卷积层 + 1个全连接层，共18层。
  • ResNet-34：包含33个卷积层 + 1个全连接层，共34层。

两者均采用“BasicBlock”作为基础残差块，每个块包含两个3×3卷积层，并通过批量归一化（BatchNorm）和ReLU激活函数增强非线性。

二、PyTorch实现关键步骤

2.1 定义残差块（BasicBlock）

残差块是ResNet的核心组件，其实现需包含以下要素：

  • 输入输出维度匹配：若输入输出维度不一致（如步长为2时），需通过1×1卷积调整维度。
  • 批量归一化与激活：每个卷积层后需接BatchNorm和ReLU。
  1. import torch
  2. import torch.nn as nn
  4. class BasicBlock(nn.Module):
  5.     expansion = 1  # 输出通道扩展倍数
  7.     def __init__(self, in_channels, out_channels, stride=1):
  8.         super(BasicBlock, self).__init__()
  9.         self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=stride, padding=1, bias=False)
  10.         self.bn1 = nn.BatchNorm2d(out_channels)
  11.         self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=3, stride=1, padding=1, bias=False)
  12.         self.bn2 = nn.BatchNorm2d(out_channels)
  14.         # 维度调整的1x1卷积（仅当stride!=1或in_channels!=out_channels时使用）
  15.         self.shortcut = nn.Sequential()
  16.         if stride != 1 or in_channels != self.expansion * out_channels:
  17.             self.shortcut = nn.Sequential(
  18.                 nn.Conv2d(in_channels, self.expansion * out_channels, kernel_size=1, stride=stride, bias=False),
  19.                 nn.BatchNorm2d(self.expansion * out_channels)
  20.             )
  22.     def forward(self, x):
  23.         residual = x
  24.         out = self.bn1(self.conv1(x))
  25.         out = torch.relu(out)
  26.         out = self.bn2(self.conv2(out))
  27.         out += self.shortcut(residual)
  28.         out = torch.relu(out)
  29.         return out

2.2 构建完整网络

网络整体结构需包含初始卷积层、多个残差块堆叠、全局平均池化层及全连接层。以下是ResNet-18的实现示例：

  1. class ResNet(nn.Module):
  2.     def __init__(self, block, layers, num_classes=1000):
  3.         super(ResNet, self).__init__()
  4.         self.in_channels = 64
  5.         self.conv1 = nn.Conv2d(3, 64, kernel_size=7, stride=2, padding=3, bias=False)
  6.         self.bn1 = nn.BatchNorm2d(64)
  7.         self.layer1 = self._make_layer(block, 64, layers[0], stride=1)
  8.         self.layer2 = self._make_layer(block, 128, layers[1], stride=2)
  9.         self.layer3 = self._make_layer(block, 256, layers[2], stride=2)
  10.         self.layer4 = self._make_layer(block, 512, layers[3], stride=2)
  11.         self.avgpool = nn.AdaptiveAvgPool2d((1, 1))
  12.         self.fc = nn.Linear(512 * block.expansion, num_classes)
  14.     def _make_layer(self, block, out_channels, blocks, stride):
  15.         layers = []
  16.         layers.append(block(self.in_channels, out_channels, stride))
  17.         self.in_channels = out_channels * block.expansion
  18.         for _ in range(1, blocks):
  19.             layers.append(block(self.in_channels, out_channels))
  20.         return nn.Sequential(*layers)
  22.     def forward(self, x):
  23.         x = self.bn1(self.conv1(x))
  24.         x = torch.relu(x)
  25.         x = self.layer1(x)
  26.         x = self.layer2(x)
  27.         x = self.layer3(x)
  28.         x = self.layer4(x)
  29.         x = self.avgpool(x)
  30.         x = torch.flatten(x, 1)
  31.         x = self.fc(x)
  32.         return x
  34. def ResNet18(num_classes=1000):
  35.     return ResNet(BasicBlock, [2, 2, 2, 2], num_classes)
  37. def ResNet34(num_classes=1000):
  38.     return ResNet(BasicBlock, [3, 4, 6, 3], num_classes)

2.3 关键参数说明

  • layers参数：定义每个阶段的残差块数量。例如，ResNet-18的layers=[2,2,2,2]表示4个阶段分别包含2、2、2、2个残差块。
  • expansion参数：BasicBlock的扩展倍数为1，若使用Bottleneck块（如ResNet-50），则需设置为4。

三、训练优化与实际应用

3.1 数据预处理与增强

推荐使用随机裁剪、水平翻转及标准化：

  1. from torchvision import transforms
  3. transform = transforms.Compose([
  4.     transforms.RandomResizedCrop(224),
  5.     transforms.RandomHorizontalFlip(),
  6.     transforms.ToTensor(),
  7.     transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
  8. ])

3.2 训练配置建议

  • 优化器：采用带动量的SGD（momentum=0.9）或AdamW。
  • 学习率调度：使用余弦退火或阶梯式衰减。
  • 批次大小：根据GPU显存调整，建议256（单卡）或512（多卡）。

3.3 性能对比与选型建议

模型 参数量（M） 计算量（GFLOPs） Top-1准确率（ImageNet）
ResNet-18 11.7 1.8 69.8%
ResNet-34 21.8 3.6 73.3%

选型建议：

  • 资源受限场景（如移动端）优先选择ResNet-18。
  • 追求更高精度且资源充足时，可选用ResNet-34或更深模型。

四、常见问题与解决方案

4.1 梯度爆炸/消失

  • 现象：训练初期loss异常或NaN。
  • 解决：使用梯度裁剪（torch.nn.utils.clip_grad_norm_）或初始化调整（如Kaiming初始化）。

4.2 维度不匹配错误

  • 现象：残差块中输入输出通道数不一致。
  • 解决：检查self.shortcut中的1×1卷积是否正确处理维度变化。

4.3 训练速度慢

  • 优化：启用混合精度训练（torch.cuda.amp）或使用分布式数据并行（DDP）。

五、扩展应用场景

5.1 迁移学习

将预训练模型用于下游任务：

  1. model = ResNet18(num_classes=10)  # 修改分类头
  2. pretrained_dict = torch.load('resnet18_pretrained.pth')
  3. model_dict = model.state_dict()
  4. # 过滤掉分类头的参数
  5. pretrained_dict = {k: v for k, v in pretrained_dict.items() if k in model_dict}
  6. model_dict.update(pretrained_dict)
  7. model.load_state_dict(model_dict)

5.2 目标检测与分割

作为骨干网络嵌入Faster R-CNN或Mask R-CNN，需替换原始的VGG或ResNet-50为ResNet-18/34以提升速度。

六、总结与最佳实践

  1. 架构选择：根据任务复杂度与硬件资源权衡深度。
  2. 训练技巧：优先使用预训练权重+微调策略，加速收敛。
  3. 部署优化：通过通道剪枝或量化降低模型体积。
  4. 工具推荐：结合百度智能云的深度学习平台，可快速部署训练好的模型至生产环境。

通过本文的指导，开发者可高效实现ResNet-18与ResNet-34，并灵活应用于各类计算机视觉任务。完整代码与预训练权重可参考开源社区或百度智能云模型库。

最新文章