Glance-and-Focus网络：有效提升弱监督视频异常检测性能

人工智能

2023-11-15 16:10:12

Glance-and-Focus 网络：弱监督视频异常检测的突破

引言

在计算机视觉领域，视频异常检测是一个至关重要的任务，旨在从视频片段中识别异常事件或行为。在实际应用中，通常无法获得大量带标签的数据，这给弱监督视频异常检测带来了巨大挑战。

Glance-and-Focus 网络

针对这一难题，香港大学和香港中文大学的研究团队提出了创新性的 Glance-and-Focus 网络（GlN）。GlN 是一种端到端网络，从无标签或仅少量标签的视频中学习异常模式并检测异常事件。

GlN 由两个模块组成：

扫视模块： 从视频中提取感兴趣区域（ROI），这些区域包含潜在的异常活动。
聚焦模块： 分析 ROI，检测异常事件的模式。

扫视模块

GlN 的扫视模块利用预训练的分类模型，该模型可以识别视频中的常见对象和活动。通过对比与正常对象的差异，扫视模块可以找出可能存在异常事件的 ROI。

聚焦模块

GlN 的聚焦模块采用卷积神经网络，从 ROI 中学习异常模式。该网络通过对比正常和异常模式，识别出异常事件的特征。

性能评估

GlN 在 UCF-Crime 和 ShanghaiTech 等公共数据集上的弱监督视频异常检测任务中取得了显着效果。与现有最先进方法相比，GlN 的平均准确率提高了 4% 以上。

代码示例

import numpy as np
import tensorflow as tf

# 定义 GlN 网络
class GlanceAndFocusNetwork(tf.keras.Model):
    def __init__(self):
        super(GlanceAndFocusNetwork, self).__init__()
        # 扫视模块
        self.glance_module = tf.keras.layers.Conv2D(32, (3, 3), activation='relu')
        # 聚焦模块
        self.focus_module = tf.keras.layers.Conv2D(64, (3, 3), activation='relu')

    def call(self, inputs):
        # 扫视模块
        glance_output = self.glance_module(inputs)
        # 聚焦模块
        focus_output = self.focus_module(glance_output)
        return focus_output

# 训练 GlN 网络
model = GlanceAndFocusNetwork()
model.compile(optimizer='adam', loss='binary_crossentropy')
model.fit(train_data, train_labels, epochs=10)