从头开始的LSTM案例研究：解读airline-passengers数据集并实施优化

2023-12-17 22:14:11

使用 LSTM 神经网络预测航空乘客数量

摘要

长期短期记忆（LSTM）网络是一种强大的神经网络，用于处理序列数据。在本教程中，我们将探索使用 LSTM 预测航空乘客数量的实际应用。我们将逐步介绍数据预处理、LSTM 模型构建、训练和超参数优化过程。

数据预处理

我们的旅程从加载和预处理航空乘客数据集开始。该数据集包含从 1949 年到 1960 年的每月乘客数量。为了使模型能够有效学习数据，我们将使用最小-最大归一化将数据标准化为 0 到 1 之间的范围。

import numpy as np
import pandas as pd
from sklearn.preprocessing import MinMaxScaler

df = pd.read_csv('airline-passengers.csv')
scaler = MinMaxScaler()
scaled_data = scaler.fit_transform(df['Passengers'].values.reshape(-1, 1))

LSTM 模型

接下来，我们使用 PyTorch 构建了一个单层 LSTM 模型，具有 100 个隐藏单元。LSTM 网络以其处理时间序列数据的能力而闻名，使其成为预测航空乘客数量的理想选择。

import torch
import torch.nn as nn

class LSTM(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(LSTM, self).__init__()
        self.lstm = nn.LSTM(input_size, hidden_size)
        self.fc = nn.Linear(hidden_size, output_size)

    def forward(self, x):
        lstm_out, _ = self.lstm(x)
        out = self.fc(lstm_out[-1])
        return out

model = LSTM(1, 100, 1)

模型训练

使用平均平方根误差 (MSE) 作为损失函数，我们使用 Adam 优化器训练我们的 LSTM 模型。通过不断调整模型参数，优化器会降低模型的损失，使其能够更准确地预测乘客数量。

optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
loss_fn = nn.MSELoss()

for epoch in range(100):
    # ...

模型评估

训练完成后，我们使用测试数据评估模型的性能。模型的 MSE 越低，其预测乘客数量就越准确。

test_loss = loss_fn(model(test_data), test_labels).item()
print(f'Test MSE: {test_loss}')

超参数优化

为了进一步提高模型的性能，我们可以使用超参数优化来寻找最佳的超参数组合。超参数是不直接由训练数据学习的参数，但会影响模型的学习过程。

from bayes_opt import BayesianOptimization

def bayes_opt_lstm(n_hidden, dropout, learning_rate):
    # ...

optimizer = BayesianOptimization(
    f=bayes_opt_lstm,
    pbounds={'n_hidden': (10, 500)},
    pbounds={'dropout': (0.1, 0.5)},
    pbounds={'learning_rate': (0.0001, 0.01)}
)