IOU和非极大值抑制

如何判断对象检测算法运作良好呢？

一、交并比（Intersection over union，IoU）

是产生的候选框（candidate bound）与原标记框（ground truth bound）的交叠率，即它们的交集与并集的比值，理想情况下是完全重叠，即比值为1

一般约定，在计算机检测任务中，如果IoU≥0.5，就说检测正确。当然0.5只是约定阈值，你可以将IoU的阈值定的更高。IoU越高，边界框越精确。

二、非极大值抑制（Non-Maximum Suppression，NMS）

非极大值抑制，顾名思义就是抑制不是极大值的元素，可以理解为局部最大搜索。主要是用于目标检测中提取分数最高的窗口，就是利用非极大值抑制找到最佳的目标边界框，消除冗余的边界框。例如在行人检测中，滑动窗口经提取特征，经分类器识别后，每个窗口都会得到一个分数。但是滑动窗口会导致很多窗口与其他窗口存在包含或者大部分交叉的情况。这是就需要用的NMS来选取哪些领域里分数最高（是行人概率最大），并且抑制哪些分数低的窗口。

非极大值抑制的流程如下：

根据置信度得分进行排序
选择置信度最高的边界框添加到最终的输出列表中，将其从边界框列表中删除
计算所有边界框的面积
计算置信度最高的边界框与其它候选框的IoU
删除IoU大于阈值的边界框
重复上述过程，直至边界框列表为空

解释如下：

如果我们在一幅图片中定位一辆汽车，最后算法找出了一堆的矩形框，我们需要判断哪些矩形框是没用的。非极大值一直的方法是：先假设有6个矩形框，根据分类器的类别分类概率做排序，假设从小到大属于车辆的概率分别是A、B、C、D、E、F。

（1）从最大概率矩形框F开始，分别判断A~E与F的重叠度IoU是否大于某个设定阈值；

（2）假设B、D与F的重叠度超过阈值，那么就扔掉B、D；并标记第一个矩形框F，是我们保留下来的

（3）从剩下的矩形框A、C、E中，选择概率最大的E，然后判断E与A、C的重叠度，重叠度大于一定的阈值，那么就扔掉；并标记E是我们保留下来的第二个矩形框

重复上述过程，找到所有被保留下来的矩形框

三、代码实现

import cv2

import numpy as np

def nms(bounding_boxes, confidence_score, threshold):

    # If no bounding boxes, return empty list

    if len(bounding_boxes) == 0:

        return [], []

    # Bounding boxes

    boxes = np.array(bounding_boxes)

    # boxes的位置

    start_x = boxes[:, 0]

    start_y = boxes[:, 1]

    end_x = boxes[:, 2]

    end_y = boxes[:, 3]

    # 每个box的置信度得分

    score = np.array(confidence_score)

    # 记录保留下的box

    picked_boxes = []

    picked_score = []

    # 计算每个box的面积

    areas = (end_x - start_x + 1) * (end_y - start_y + 1)

    # boxes按照score排序

    order = np.argsort(score)

    # Iterate bounding boxes

    while order.size > 0:

        # score最大的box对应的index

        index = order[-1]

        # 保留score最大的box的index和score

        picked_boxes.append(bounding_boxes[index])

        picked_score.append(confidence_score[index])

        # 计算剩余boxes与当前box的重叠程度IoU

        x1 = np.maximum(start_x[index], start_x[order[:-1]])

        x2 = np.minimum(end_x[index], end_x[order[:-1]])

        y1 = np.maximum(start_y[index], start_y[order[:-1]])

        y2 = np.minimum(end_y[index], end_y[order[:-1]])

        # 计算IoU

        w = np.maximum(0.0, x2 - x1 + 1)

        h = np.maximum(0.0, y2 - y1 + 1)

        intersection = w * h

        # 保留IoU小于设定阈值的boxes

        ratio = intersection / (areas[index] + areas[order[:-1]] - intersection)

        left = np.where(ratio < threshold)

        order = order[left]

    return picked_boxes, picked_score

# Image name

image_name = 'nms.jpg'

# 三个Bounding box

bounding_boxes = [(187, 82, 337, 317), (150, 67, 305, 282), (246, 121, 368, 304)]

confidence_score = [0.9, 0.75, 0.8]

# Read image

image = cv2.imread(image_name)

# 复制原图

org = image.copy()

# #绘制参数

font = cv2.FONT_HERSHEY_SIMPLEX

font_scale = 1

thickness = 2

# IoU阈值

threshold = 0.4

# Draw bounding boxes and confidence score

for (start_x, start_y, end_x, end_y), confidence in zip(bounding_boxes, confidence_score):

    (w, h), baseline = cv2.getTextSize(str(confidence), font, font_scale, thickness)

    cv2.rectangle(org, (start_x, start_y - (2 * baseline + 5)), (start_x + w, start_y), (0, 255, 255), -1)

    cv2.rectangle(org, (start_x, start_y), (end_x, end_y), (0, 255, 255), 2)

    cv2.putText(org, str(confidence), (start_x, start_y), font, font_scale, (0, 0, 0), thickness)

# Run non-max suppression algorithm

picked_boxes, picked_score = nms(bounding_boxes, confidence_score, threshold)

# Draw bounding boxes and confidence score after non-maximum supression

for (start_x, start_y, end_x, end_y), confidence in zip(picked_boxes, picked_score):

    (w, h), baseline = cv2.getTextSize(str(confidence), font, font_scale, thickness)

    cv2.rectangle(image, (start_x, start_y - (2 * baseline + 5)), (start_x + w, start_y), (0, 255, 255), -1)

    cv2.rectangle(image, (start_x, start_y), (end_x, end_y), (0, 255, 255), 2)

    cv2.putText(image, str(confidence), (start_x, start_y), font, font_scale, (0, 0, 0), thickness)

# Show image

cv2.imshow('Original', org)

cv2.imshow('NMS', image)

cv2.waitKey(0)