计算机视觉图像特征提取入门：Harris角点与SIFT算法全解析

在计算机视觉领域，图像特征提取是图像理解、目标识别、三维重建等任务的基础。特征点作为图像中的显著结构，能够为后续分析提供稳定且具有区分度的信息。本文将围绕Harris角点检测与SIFT（Scale-Invariant Feature Transform）算法展开，从原理、实现到应用场景，为开发者提供系统化的入门指南。

一、为什么需要图像特征提取？

图像特征提取的核心目标是找到图像中“稳定且具有区分度”的点或区域。传统像素值对比易受光照、旋转、尺度变化影响，而特征点（如角点、边缘点）通过局部结构描述，能更好适应环境变化。例如：

目标识别：通过特征点匹配区分不同物体；
图像拼接：利用特征点对齐多张图片；
三维重建：通过特征点计算相机位姿。

二、Harris角点检测：经典而高效的局部特征

1. 角点的定义与数学基础

Harris角点基于图像局部窗口的自相关性设计。当窗口在图像上移动时：

平坦区域：窗口内像素值变化小；
边缘区域：沿边缘方向移动变化小，垂直方向变化大；
角点区域：任意方向移动均导致显著变化。

数学上，通过自相关矩阵 ( M ) 描述局部结构：
[
M = \sum_{x,y} w(x,y)
\begin{bmatrix}
I_x^2 & I_x I_y \
I_x I_y & I_y^2
\end{bmatrix}
]
其中 ( I_x, I_y ) 为图像梯度，( w(x,y) ) 为高斯加权窗口。矩阵 ( M ) 的特征值 ( \lambda_1, \lambda_2 ) 反映变化强度：

若 ( \lambda_1, \lambda_2 ) 均大，则为角点；
若一大一小，则为边缘；
若均小，则为平坦区域。

2. Harris响应函数与阈值筛选

为避免计算特征值，Harris提出响应函数：
[
R = \det(M) - k \cdot \text{trace}(M)^2
]
其中 ( \det(M) = \lambda_1 \lambda_2 )，( \text{trace}(M) = \lambda_1 + \lambda_2 )，( k ) 通常取 0.04~0.06。通过阈值 ( R > \text{threshold} ) 筛选角点，并结合非极大值抑制（NMS）去除局部冗余。

3. 代码实现示例（OpenCV）

import cv2
import numpy as np
def harris_corner_detection(image_path):
    # 读取图像并转为灰度图
    img = cv2.imread(image_path)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    # 计算Harris角点
    gray = np.float32(gray)
    dst = cv2.cornerHarris(gray, blockSize=2, ksize=3, k=0.04)
    # 膨胀响应图并标记角点
    dst = cv2.dilate(dst, None)
    img[dst > 0.01 * dst.max()] = [0, 0, 255]  # 红色标记角点
    cv2.imshow('Harris Corners', img)
    cv2.waitKey(0)
    cv2.destroyAllWindows()
# 调用函数
harris_corner_detection('test.jpg')

参数说明：

blockSize：邻域大小；
ksize：Sobel算子孔径；
k：响应函数系数。

4. Harris角点的优缺点

优点：计算简单、旋转不变性、对均匀光照不敏感；
缺点：尺度敏感、对大角度旋转可能失效。

三、SIFT算法：尺度与旋转不变的终极方案

1. SIFT的核心思想

SIFT通过模拟人类视觉系统，在多尺度空间中检测极值点，并生成具有方向性的局部描述子，实现尺度、旋转、光照不变性。其流程分为四步：

尺度空间极值检测；
关键点定位；
方向分配；
关键点描述子生成。

2. 尺度空间构建与极值检测

SIFT使用高斯差分（DoG）近似LoG（Laplacian of Gaussian）构建尺度空间：
[
D(x,y,\sigma) = L(x,y,k\sigma) - L(x,y,\sigma)
]
其中 ( L(x,y,\sigma) ) 为图像与高斯核的卷积。通过比较同一尺度内8邻域及相邻尺度18邻域（共26个点），检测局部极值点。

3. 关键点定位与过滤

去除低对比度点：通过泰勒展开修正极值点位置，若 ( |D(x)| < 0.03 ) 则丢弃；
去除边缘响应：计算Hessian矩阵特征值比，保留主曲率比小于阈值的点。

4. 方向分配与描述子生成

方向分配：以关键点为中心，计算梯度幅值和方向，生成方向直方图（36bin），取主峰及大于主峰80%的辅峰作为方向；
描述子生成：将关键点邻域划分为4×4子区域，每个子区域计算8方向梯度直方图，最终生成128维描述子。

5. 代码实现示例（OpenCV）

import cv2
def sift_feature_extraction(image_path):
    # 读取图像
    img = cv2.imread(image_path)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    # 创建SIFT检测器
    sift = cv2.SIFT_create()
    # 检测关键点并计算描述子
    keypoints, descriptors = sift.detectAndCompute(gray, None)
    # 绘制关键点
    img_kp = cv2.drawKeypoints(img, keypoints, None, flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)
    cv2.imshow('SIFT Keypoints', img_kp)
    cv2.waitKey(0)
    cv2.destroyAllWindows()
# 调用函数
sift_feature_extraction('test.jpg')