从自编码器 AE 窥探神经网络的编码与解码魅力

2024-02-08 22:17:42

自编码器：揭开数据隐藏代码的秘密

香草编码器：自编码器的基本骨架

自编码器是一种神奇的算法，能够对数据执行编码和解码操作，将复杂的数据转化为简洁的特征，然后将这些特征还原成原始数据。最基本的自编码器被称为香草编码器 。它由输入层、隐含层和输出层组成，其中隐含层负责提取数据的关键特征。香草编码器就像一位数据炼金术士，将混乱的数据转化为有价值的信息。

import numpy as np
from keras.layers import Input, Dense, Activation
from keras.models import Model

# 创建输入层
input_dim = 784  # MNIST 图像的维度
input_layer = Input(shape=(input_dim,))

# 创建隐含层
hidden_dim = 128
hidden_layer = Dense(hidden_dim, activation='relu')(input_layer)

# 创建输出层
output_dim = input_dim
output_layer = Dense(output_dim, activation='sigmoid')(hidden_layer)

# 创建自编码器模型
autoencoder = Model(input_layer, output_layer)

# 编译模型
autoencoder.compile(optimizer='adam', loss='binary_crossentropy')

卷积自编码器：图像处理的魔法

卷积自编码器（CAE） 在香草编码器的基础上引入了卷积神经网络，赋予了自编码器强大的图像处理能力。卷积神经网络能够自动提取图像中的特征，例如边缘、纹理和轮廓。CAE擅长去除图像噪声、生成新图像和识别图像中的对象。

from keras.layers import Conv2D, MaxPooling2D, UpSampling2D

# 创建输入层
input_shape = (28, 28, 1)  # MNIST 图像的形状
input_layer = Input(shape=input_shape)

# 创建编码器
conv1 = Conv2D(32, (3, 3), activation='relu')(input_layer)
max_pool1 = MaxPooling2D((2, 2))(conv1)
conv2 = Conv2D(64, (3, 3), activation='relu')(max_pool1)
max_pool2 = MaxPooling2D((2, 2))(conv2)

# 创建解码器
up_sample1 = UpSampling2D((2, 2))(max_pool2)
conv3 = Conv2D(64, (3, 3), activation='relu')(up_sample1)
up_sample2 = UpSampling2D((2, 2))(conv3)
conv4 = Conv2D(32, (3, 3), activation='relu')(up_sample2)

# 创建输出层
output_layer = Conv2D(1, (3, 3), activation='sigmoid')(conv4)

# 创建卷积自编码器模型
cae = Model(input_layer, output_layer)

# 编译模型
cae.compile(optimizer='adam', loss='binary_crossentropy')

变分自编码器：拥抱不确定性

变分自编码器（VAE） 引入了不确定性，使自编码器能够学习数据分布。VAE在编码器和解码器之间使用了一个隐变量，使其能够生成新数据样本。VAE在图像生成、自然语言处理和异常检测方面有着广泛的应用。

import tensorflow as tf
from tensorflow.keras.layers import Lambda

# 创建输入层
input_dim = 784  # MNIST 图像的维度
input_layer = Input(shape=(input_dim,))

# 创建编码器
z_mean = Dense(latent_dim, name='z_mean')(input_layer)
z_log_var = Dense(latent_dim, name='z_log_var')(input_layer)

# 定义采样层
class Sampling(Layer):
    """采样层"""
    def call(self, inputs):
        z_mean, z_log_var = inputs
        batch = tf.shape(z_mean)[0]
        dim = tf.shape(z_mean)[1]
        epsilon = tf.random.normal(shape=(batch, dim))
        return z_mean + tf.exp(0.5 * z_log_var) * epsilon

# 创建采样层
sampling_layer = Sampling()([z_mean, z_log_var])

# 创建解码器
output_layer = Dense(input_dim, activation='sigmoid')(sampling_layer)

# 创建变分自编码器模型
vae = Model(input_layer, output_layer)

# 编译模型
vae.compile(optimizer='adam', loss=vae_loss)