분류 모델 성능 평가지표

 

모델 평가 지표에는 특이도, 정확도, 민감도, 정밀도, 재현율이 있습니다. 이 중에 특이도(Specificity)와 민감도(Sensitivity)는 ROC curve와 AUC를 구할 때 이용됩니다. 정밀도와 재현율은 AP와 Precision-Recall Graph를 구하는데 사용됩니다. 분류 문제에 머신러닝을 할 때도 ROC curve와 AUC를 모델의 성능을 평가하는데 사용합니다.

 

1. Confusion Matrix

오차 행렬(confusion matrix)은 분류문제를 위한 모델의 성능을 평가하는 행렬입니다.

밑의 그림은 이진 분류기(binary classifier)의 confusion matrix의 예시 입니다.

 

Confusion Matrix (이미지 출처 : https://sumniya.tistory.com/26)

1. TP(True Positive)

TP는 정답이 1인데, 모델이 1로 예측한 경우입니다. 

 

2. TN(True Negative)

TN는 정답이 0인데, 모델이 0으로 예측한 경우입니다.

 

3. FP(False Positive)

FP는 정답이 1인데 정답이 아닌 0으로 예측한 경우입니다. 

예를 들어, 암(1)인지 아닌지(0)을 판단하는 모델에서 FP는 실제로 환자가 암에 걸렸는데 암이 아니라고 판단한 것이기 때문에 상당히 위험한 경우입니다. FP이 낮을 수록 좋은 모델이라고 할 수 있습니다. 통계에서는  FP를1종 오류라고 합니다

 

4. FN(False Negative)

정답은 0이지만 예측은 1이라고 한 경우입니다. 또한 2종 오류라고도 합니다.

2. 모델 평가지표

2-1) 타당도와 신뢰도 

민감도와 특이도를 살펴보기 전에 타당도와 신뢰도 개념에 대해 알아보고 갑니다.

 

이미지 출처 : https://blog.naver.com/vatled/221797743830

- 타당도 (Validaity) : 진단이나 측정방법이 측정한 결과가 찾고자 하는 참값을 반영하는 정도

예를 들어, 암에 걸린 사람을 검사하였을 때, 항상 암에 걸렸다고 판정하고 암에 걸리지 않은 사람을 검사하였을 때 정상이라고 판정하는 정도라고 할 수 있습니다. 정확도와 동일한 의미로 사용됩니다.

 

- 신뢰도 (Reliability) : 동일한 대상으로 같은 내용으로 반복측정 했을 때 같은 결과가 나오는 정도. 재현성(Reprobucibility), 반복성(Repeatability)와 동일한 개념으로 사용됩니다.

 

2-2) 민감도, 특이도, 정밀도, 재현율, 정확도

민감도 (Sensitivity)	(TP / TP + FN) 양성 중 맞춘 양성의 수
특이도 (Specificity)	(TN / FP + TN) 음성 중 맞춘 음성의 수
정밀도 (Precision)	(TP / TP + FP) 양성이라고 판정 한 것 중에 실제 양성 수
재현율 (Recall)	(TP / TP + FN) 전체 양성 수에서 검출 양성 수
정확도 (accuracy)	(TP + TN / TP + FN + FP + TN) 전체 개수 중에서 양성과 음성을 맞춘 수

 

이진분류의 결과를 예측하는데 있어서 모델의 정확도, 즉 타당도를 평가하기 위해서 민감도(Sensitivity)와 특이도(Specificity)를 사용합니다.

 

- 민감도 : 질병이 있는 환자 중 검사결과가 양성으로 나타날 조건부 확률

이미지 출처 : https://blog.naver.com/vatled/221797743830

- 특이도 : 질병이 없는 환자 중 검사결과가 음성으로 나타날 조건부 확률

이미지 출처 : https://blog.naver.com/vatled/221797743830

 

 

 

참고 자료 : 
https://www.statisticshowto.datasciencecentral.com/receiver-operating-characteristic-roc-curve/
https://blog.naver.com/vatled/221797743830
https://blog.naver.com/wpxkxmfpdls/221707620035
https://blog.naver.com/win0k/221599042773
https://blog.naver.com/qbxlvnf11/221497600125