可视化CNN的卷积结果，一目了然！200行代码轻松搞定

人工智能

2024-02-07 13:07:59

深入理解 CNN：200 行代码实现卷积结果可视化

简介

卷积神经网络 (CNN) 在图像识别和计算机视觉领域占据着举足轻重的地位。它们的神奇之处在于从图像中提取特征，通过一系列卷积和池化操作识别复杂模式和对象。然而，窥探 CNN 内部的工作原理往往让人望而生畏。

揭秘 CNN：可视化卷积结果

可视化 CNN 的卷积结果是一种深入理解其运作方式的直观方法。通过这种方式，我们可以亲眼目睹 CNN 如何从图像中提取特征。以下三种技术可以帮助我们实现这一目标：

热力图： 将特定神经元的激活强度绘制在输入图像上，揭示其响应图像中哪些区域。
特征图： 展示特定卷积层输出的特征映射，让我们了解 CNN 如何从图像中提取特征。
类激活映射 (CAM)： 显示特定类别的预测分数在输入图像中的分布，帮助我们识别 CNN 认为图像中最重要的区域。

200 行代码实现可视化

本文将带你踏上代码之旅，使用 200 行代码实现上述所有三种可视化技术。我们将使用 PyTorch 框架，一个颇受欢迎的深度学习工具箱。

代码之旅

import torch
import torchvision.models as models
import numpy as np
import matplotlib.pyplot as plt

# 加载预训练的 ResNet-18 模型
model = models.resnet18(pretrained=True)

# 加载图像并将其预处理为模型输入
image = plt.imread('image.jpg')
image = torch.from_numpy(image).permute(2, 0, 1).unsqueeze(0)

# 获取卷积特征图
features = model.conv1(image)

# 生成热力图
heatmap = features[0, 0].detach().numpy()
plt.imshow(heatmap, cmap='jet')
plt.show()

# 生成特征图
feature_maps = features.detach().numpy()
plt.figure(figsize=(10, 10))
for i in range(32):
    plt.subplot(8, 4, i+1)
    plt.imshow(feature_maps[0, i], cmap='gray')
plt.show()

# 生成 CAM
cam = torch.nn.functional.adaptive_avg_pool2d(features, (1, 1))
cam = cam.view(cam.size(1))
cam = torch.nn.functional.softmax(cam, dim=0)
cam = cam.detach().numpy()
plt.imshow(cam[0], cmap='jet')
plt.show()