이번 글은 AUC-ROC curve와 AUC 값의 의미에 대해 알아보고자 한다.
1. AUC-ROC curve란?
의학 및 요즘 뜨거운 감자, 기계 학습machine learning과 같은 다양한 분야에서 종종 진단 테스트 또는 예측 모델의 성능을 평가해야 하는데, AUC-ROC curve (Area Under the Curve-Receiver Operating Characteristic curve)곡선은 이러한 테스트 또는 모델의 성능을 이해하고 비교하는 데 사용된다.
ROC 곡선을 이해하기 위해 이진 분류 문제가 있는 시나리오를 상상해 보자.
예를 들어, 일부 진단 테스트 결과를 기반으로 환자가 특정 질병을 가지고 있는지 여부를 예측하고 싶다고 가정 할 때, 이 경우 테스트 결과는 연속적인 값으로 간주될 수 있으며 환자를 양성 또는 음성으로 분류하기 위한 임계값을 선택해야 한다.
ROC 곡선은 다양한 임계값에 대한 위양성률(False Positive rate=1 – 특이성)에 대한 참양성률 (True Positive rate, TP rate,민감도)을 점을 찍어 표현한다. 임계값을 변경함에 따라 테스트 또는 모델이 양성 사례와 음성 사례를 얼마나 잘 구분할 수 있는지 보여준다.
ROC 곡선은 y축에 참양성률(민감도)을 표시하고 x축에 위양성률(1 – 특이성)을 표시한다.
참양성률(민감도)은 테스트 또는 모델에서 양성으로 올바르게 분류된 실제 양성 사례의 비율을 측정한다.
위양성률(1 – 특이성)은 양성으로 잘못 분류된 실제 음성 사례의 비율을 측정한다.
다음으로 Area Under the Curve (AUC)의 개념을 알아보자.
AUC는 ROC 곡선을 사용하여 진단 테스트 또는 예측 모델의 전체 성능을 정량화하는 metric이다.
ROC 곡선 아래의 면적을 나타낸다.
다음은 AUC에 대한 의미를 알아보자. AUC의 범위는 0에서 1까지로 표현된다. AUC = 0은 성능이 좋지 않은 테스트 또는 모델을 나타내고 AUC = 1은 완벽한 테스트 또는 모델을 의미한다.
AUC 값이 1에 가까울수록 테스트 또는 모델이 양성 사례와 음성 사례를 더 잘 구분함을 의미한다.
2. AUC 예제:
예를 들어, 특정 질병에 대해 AUC가 0.8인 진단 테스트가 있다고 가정해 보자.
이는 테스트가 양성 케이스의 80%(민감도)를 정확하게 식별할 수 있고 음성 케이스를 양성으로 잘못 분류할 확률(거짓 양성 비율)이 20%라는 것을 의미한다.
0.8의 AUC는 테스트가 양성 사례와 음성 사례를 구별하는 데 합리적으로 양호하지만 여전히 개선의 여지가 있음을 시사한다.
AUC는 테스트 또는 모델의 성능을 요약하는 단일 숫자를 제공하므로 다양한 테스트 또는 모델을 쉽게 비교할 수 있다. 따라서 정확도를 최대화하고 진단 또는 예측 오류를 최소화하기 위해 더 높은 AUC 값을 가진 테스트 또는 모델을 개발하는 것을 목표로 하게 된다.
AUC는 강력한 메트릭이지만 테스트 또는 모델의 적합성을 결정하는 유일한 요소는 아닐 수 있다. 문제의 특정 요구 사항 및 위양성 및 위음성과 관련된 비용과 같은 다른 요인도 고려해야 할 것이다.
종합적으로, AUC는 ROC 곡선을 사용하여 진단 테스트 또는 예측 모델의 전체 성능을 정량화하는 메트릭으로 양성 사례와 음성 사례를 구별하는 테스트 또는 모델의 능력을 나타내는 단일 숫자를 제공하며, AUC 값이 높을수록 테스트 또는 모델의 성능이 더 좋다는 것을 의미한다.
AUC-ROC curve는 분류 문제의 성능 측정 방법으로, 다양한 임계값 설정에서 사용된다. ROC는 확률 곡선이며, AUC는 분리도 또는 측정의 정도를 나타낸다. 이는 모델이 클래스를 구별하는 능력이 얼마나 되는지 알려준다. AUC-ROC 곡선은 민감도와 특이도 간의 연결과 교환을 그래픽으로 나타내는 데 자주 사용된다. ROC 곡선 아래의 면적은 테스트에 대한 질문에 대한 이점에 대한 아이디어를 제공한다.
다음 글은 GSEA 분석에 대해 알아 보고자 한다.
Gene Set Enrichment Analysis GSEA 유전자 세트 농축 분석이란, GSEA 분석 5 단계