莫凡Pytorch教程（一）：激活函数的心路历程

人工智能

2024-01-06 20:12:48

激活函数：神经网络中的无名英雄

前言

踏入神经网络的奇妙世界，我们将开启一段激动人心的旅程。今天，我们聚焦于激活函数，神经网络中的幕后功臣，它们让神经网络拥有非凡的学习和表达能力。

激活函数：神经元的生命力

激活函数就好比神经元之间的桥梁，将输入信号转化为输出信号。它们赋予神经网络非线性表达能力，让网络能够学习复杂的关系和模式，模拟现实世界的方方面面。

激活函数家族：各显神通

神经网络中常见的激活函数各有千秋，满足不同任务的需求。

Sigmoid函数：二分类的利器
Sigmoid函数形如S形曲线，将输入信号压缩到0到1之间。它常用于二分类问题，将连续的输入信号转化为离散的输出信号。
Tanh函数：双曲正切的魅力
Tanh函数与Sigmoid函数相似，但将输入信号压缩到-1到1之间。它也适用于二分类问题，并在多分类任务中表现出色。
ReLU函数：简单高效的王者
ReLU函数（修正线性单元）以其简单性和高效性广受青睐。它将所有小于0的输入信号置为0，其余信号保持不变。ReLU函数广泛用于图像分类、自然语言处理等领域。

Pytorch中的激活函数实现

Pytorch是一个深度学习框架，它提供了各种激活函数的便捷实现。

Sigmoid函数

import torch
import torch.nn as nn

class Sigmoid(nn.Module):
    def __init__(self):
        super(Sigmoid, self).__init__()

    def forward(self, x):
        return torch.sigmoid(x)

Tanh函数

import torch
import torch.nn as nn

class Tanh(nn.Module):
    def __init__(self):
        super(Tanh, self).__init__()

    def forward(self, x):
        return torch.tanh(x)

ReLU函数

import torch
import torch.nn as nn

class ReLU(nn.Module):
    def __init__(self):
        super(ReLU, self).__init__()

    def forward(self, x):
        return torch.relu(x)