交互式前景提取：轻松简便地从图像中抠出对象

2023-11-30 05:10:32

OpenCV（37）---交互式前景提取

前言

经典的前景提取技术主要使用纹理（颜色）信息，如魔术棒工具，或根据边缘（对比度）信息，如智能剪刀等完成。2004年，微软研究院的Rother等人在论文中提出了交互式前景提取技术。这项技术通过用户对图像前景和背景的交互式标注，使用GrabCut算法，实现对前景的自动提取。

OpenCV实现

OpenCV中提供了交互式前景提取的实现，基于GrabCut算法，具体步骤如下：

1. 图像加载和初始化

import cv2

# 加载图像
image = cv2.imread('image.jpg')

# 初始化前景和背景掩码
fgd_mask = np.zeros_like(image, dtype=np.uint8)
bgd_mask = np.zeros_like(image, dtype=np.uint8)

# 交互式标注
cv2.namedWindow('Interactive Foreground Extraction')
cv2.setMouseCallback('Interactive Foreground Extraction', mouse_callback, (image, fgd_mask, bgd_mask))
cv2.imshow('Interactive Foreground Extraction', image)
cv2.waitKey(0)
cv2.destroyAllWindows()

2. 执行GrabCut算法

# 执行GrabCut算法提取前景
bgd_model = np.zeros((1, 65), dtype=np.float64)
fgd_model = np.zeros((1, 65), dtype=np.float64)
rect = (0, 0, image.shape[1], image.shape[0])
cv2.grabCut(image, fgd_mask, bgd_mask, rect, bgd_model, fgd_model, 5, cv2.GC_INIT_WITH_RECT)

3. 生成最终前景掩码

# 生成最终前景掩码
mask2 = np.where((fgd_mask == 2) | (fgd_mask == 0), 0, 1).astype('uint8')

4. 提取前景

# 提取前景
foreground = cv2.bitwise_and(image, image, mask=mask2)

代码演示

import cv2
import numpy as np

def mouse_callback(event, x, y, flags, params):
    if event == cv2.EVENT_LBUTTONDOWN:
        params[1][y, x] = 1
    elif event == cv2.EVENT_RBUTTONDOWN:
        params[2][y, x] = 1

image = cv2.imread('image.jpg')
fgd_mask = np.zeros_like(image, dtype=np.uint8)
bgd_mask = np.zeros_like(image, dtype=np.uint8)

cv2.namedWindow('Interactive Foreground Extraction')
cv2.setMouseCallback('Interactive Foreground Extraction', mouse_callback, (image, fgd_mask, bgd_mask))
cv2.imshow('Interactive Foreground Extraction', image)
cv2.waitKey(0)
cv2.destroyAllWindows()

bgd_model = np.zeros((1, 65), dtype=np.float64)
fgd_model = np.zeros((1, 65), dtype=np.float64)
rect = (0, 0, image.shape[1], image.shape[0])
cv2.grabCut(image, fgd_mask, bgd_mask, rect, bgd_model, fgd_model, 5, cv2.GC_INIT_WITH_RECT)

mask2 = np.where((fgd_mask == 2) | (fgd_mask == 0), 0, 1).astype('uint8')
foreground = cv2.bitwise_and(image, image, mask=mask2)