OpenCV-Python 哈里斯角检测

目标

在本章中，

我们将了解"Harris Corner Detection”背后的概念。
我们将看到以下函数：cv.cornerHarris(),cv.cornerSubPix()

理论

在上一章中，我们看到角是图像中各个方向上强度变化很大的区域。Chris Harris和Mike Stephens在1988年的论文《组合式拐角和边缘检测器》中做了一次尝试找到这些拐角的尝试，所以现在将其称为哈里斯拐角检测器。他把这个简单的想法变成了数学形式。它基本上找到了(u，v)(u，v)(u，v)在所有方向上位移的强度差异。表示如下：

E(u,v)=∑x,yw(x,y)⏟window function [I(xu,yv)⏟shifted intensity−I(x,y)⏟intensity]2E(u,v) = \sum_{x,y} \underbrace{w(x,y)}_\text{window function} \, [\underbrace{I(x u,y v)}_\text{shifted intensity}-\underbrace{I(x,y)}_\text{intensity}]^2E(u,v)=x,y∑window functionw(x,y)[shifted intensityI(xu,yv)−intensityI(x,y)]2

窗口函数要么是一个矩形窗口,要么是高斯窗口,它在下面赋予了值。

我们必须最大化这个函数E(u,v)E(u,v)E(u,v)用于角检测。这意味着,我们必须最大化第二个项。将泰勒扩展应用于上述方程,并使用一些数学步骤(请参考任何你喜欢的标准文本书),我们得到最后的等式:

E(u,v)≈[uv]M[uv]E(u,v) \approx \begin{bmatrix} u & v \end{bmatrix} M \begin{bmatrix} u \\ v \end{bmatrix}E(u,v)≈[uv]M[uv]

其中

M=∑x,yw(x,y)[IxIxIxIyIxIyIyIy]M = \sum_{x,y} w(x,y) \begin{bmatrix}I_x I_x & I_x I_y \\ I_x I_y & I_y I_y \end{bmatrix}M=x,y∑w(x,y)[IxIxIxIyIxIyIyIy]

在此，IxI_xIx和IyI_yIy分别是在x和y方向上的图像导数。（可以使用cv.Sobel()轻松找到）。

然后是主要部分。之后，他们创建了一个分数，基本上是一个等式，它将确定一个窗口是否可以包含一个角。

R=det(M)−k(trace(M))2R = det(M) - k(trace(M))^2R=det(M)−k(trace(M))2

其中

det(M)=λ1λ2det(M)=\lambda_1\lambda_2det(M)=λ1λ2
trace(M)=λ1λ2trace(M)=\lambda_1 \lambda_2trace(M)=λ1λ2
λ1\lambda_1λ1 and λ2\lambda_2λ2 是 MMM 的特征值

因此，这些特征值的值决定了区域是拐角，边缘还是平坦。

当∣R∣|R|∣R∣较小，这在λ1\lambda_1λ1和λ2\lambda_2λ2较小时发生，该区域平坦。
当R<0R<0R<0时（当λ1>>λ2\lambda_1 >>\lambda_2λ1>>λ2时发生，反之亦然），该区域为边。
当RRR很大时，这发生在λ1\lambda_1λ1和λ2\lambda_2λ2大且λ1\lambda_1λ1~λ2\lambda_2λ2时，该区域是角。

可以用如下图来表示：

因此，Harris Corner Detection的结果是具有这些分数的灰度图像。合适的阈值可为您提供图像的各个角落。我们将以一个简单的图像来完成它。

OpenCV中的哈里斯角检测

为此，OpenCV具有函数cv.cornerHarris()。其参数为：

img - 输入图像，应为灰度和float32类型。
blockSize - 是拐角检测考虑的邻域大小
ksize - 使用的Sobel导数的光圈参数。
k - 等式中的哈里斯检测器自由参数。

请参阅以下示例：

import numpy as np

import cv2 as cv

filename = 'chessboard.png'

img = cv.imread(filename)

gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)

gray = np.float32(gray)

dst = cv.cornerHarris(gray,2,3,0.04)

#result用于标记角点，并不重要

dst = cv.dilate(dst,None)

#最佳值的阈值，它可能因图像而异。

img[dst>0.01*dst.max()]=[0,0,255]

cv.imshow('dst',img)

if cv.waitKey(0) & 0xff == 27:

    cv.destroyAllWindows()

以下三个结果：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7L41WveY-1582724853069)(5_2_哈里斯角检测.assets/harris_result.jpg)]

SubPixel精度的转角

有时，你可能需要找到最精确的角落。OpenCV附带了一个函数cv.cornerSubPix()，它进一步细化了以亚像素精度检测到的角落。下面是一个例子。和往常一样，我们需要先找到哈里斯角。然后我们通过这些角的质心(可能在一个角上有一堆像素，我们取它们的质心)来细化它们。Harris角用红色像素标记，精制角用绿色像素标记。对于这个函数，我们必须定义何时停止迭代的条件。我们在特定的迭代次数或达到一定的精度后停止它，无论先发生什么。我们还需要定义它将搜索角落的邻居的大小。

import numpy as np

import cv2 as cv

filename = 'chessboard2.jpg'

img = cv.imread(filename)

gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)

# 寻找哈里斯角

gray = np.float32(gray)

dst = cv.cornerHarris(gray,2,3,0.04)

dst = cv.dilate(dst,None)

ret, dst = cv.threshold(dst,0.01*dst.max(),255,0)

dst = np.uint8(dst)

# 寻找质心

ret, labels, stats, centroids = cv.connectedComponentsWithStats(dst)

# 定义停止和完善拐角的条件

criteria = (cv.TERM_CRITERIA_EPS   cv.TERM_CRITERIA_MAX_ITER, 100, 0.001)

corners = cv.cornerSubPix(gray,np.float32(centroids),(5,5),(-1,-1),criteria)

# 绘制

res = np.hstack((centroids,corners))

res = np.int0(res)

img[res[:,1],res[:,0]]=[0,0,255]

img[res[:,3],res[:,2]] = [0,255,0]

cv.imwrite('subpixel5.png',img)

以下是结果，其中一些重要位置显示在缩放窗口中以可视化：

欢迎关注磐创博客资源汇总站：

http://docs.panchuang.net/

欢迎关注PyTorch官方中文教程站：

http://pytorch.panchuang.net/

OpenCV中文官方文档：

http://woshicver.com/

巴特西

OpenCV-Python 哈里斯角检测 | 三十七

目标

理论

OpenCV中的哈里斯角检测

SubPixel精度的转角

最新文章

热门文章