객체인식 (object detection) 성능 지표

성능지표에 관해.

목차

1. IOU (Intersection Over Union)

2. Precision, Recall

3. Precision-Recall Curve (P-R Curve)

4. Average Precision (AP)

5. mAP (mean Average Performance)

1. IOU

객체 검출의 정확도를 평가하는 지표로 0~1 사이의 값을 갖는다.<br> 실제 객체 위치 (gournd truth) 와 예측한 박스(prediction) 두 box의 중복되는 영역에 따라 평가하는 방식으로 겹치는 부분이 많으면 예측 잘한 것으로 평가한다.

2. Precision, Recall

Confusion Matrix

• TP ( True Positive ) : 실제 값이 Positive일 때 Positive로 예측한 것.
• FP ( False Positive ) : 실제 값이 Negative일 때 Positive로 예측한 것.
• FN ( False Negative ) : 실제 값이 Positive 일 때 Negative로 예측한 것.
• TN ( True Negative ) : 실제 값이 Negative 일 때 Positive로 예측한 것.

Confusion Matrix로 구할 수 있는 지표

1. 정확도 (Accuracy) : 전체 데이터 중 모델이 올바르게 분류한 비율을 말한다. 
2. 정밀도(Precision) : 예측값이 Positive라 분류된 것 중 실제값이 Positive인 비율  객체 탐지에서는 관련 객체만을 식별하는 모델의 성능을 나타낸다.  예) 모델이 객체로 검출한 것이 10개인데, 그 중 7개를 올바르게 검출했다면 0.7의 성능을 갖는다. 
3. 재현도 (Recall) : 실제값이 Positive인 것 중 예측값이 Positive라 분류된 비율 객체 탐지에서는 모든 관련 사례를 찾는 모델의 성능을 나타낸다.예) 검출해내야 하는 정답 객체가 9개 인데, 모델이 올바로 검출한 것이 6개라면, 6/9의 성능을 갖는다. 
4. F1 Score : 정밀도와 재현도의 조화 평균 

 

3. Precision-Recall Curve (P-R Curve)

confidence score(Confidence Threshold)를 조정하면서 얻은 Recall의 값의 변화에 따른 Precision을 나타낸 곡선으로 모델의 성능을 평가하는 방법으로, 일반적으로 P-R곡선의 면적(AOU, Area under curve) 값으로 계산된다. 

Confidence Threshold란? : 탐지한 객체 인식에 대한 신뢰도

예) 사람 한 명 씩 있는 15개의 이미지에서 사람을 검출했을 때 10개의 이미지에서 검출 결과가 있지만, 7개만 사람을 검출했고, 3개는 다른 객체를 검출해 잘못 검출했다고 가정하자. <br> 이 때 Precision -> 7/ 10 이고, <br> 이 때 Recall -> 7 / 15 이다. <br> 따라서 이를 그래프로 나타내면 다음과 같다.

4. Average Precision

Precision과 Recall을 고려한 종합적 평가지표로 0~1사이의 모든 Recall에 대응하는 평균 Precision을 나타낸 것이다. PR 곡선에서 선 아래 쪽의 면적으로 계산한다. 

AP가 높으면 높을수록 알고리즘의 성능이 전체적으로 우수하다는 것을 의미한다.

계산과정 

PR곡선을 계단 형식 그래프로 변경한다.

그래프 선 아래의 넓이를 계산해 AP를 구한다.

5. mAP(mean Average Precision)

클래스별 AP값을 평균을 내어 보여주는 값이다.