이진분류 모델의 평가지표로 정확도(accuracy)를 채택할 경우 정확도의 한계점을 인지해 둘 필요가 있다. 정확도는 분류 모델이 전체 데이터 중에서 몇 개나 실제값과 동일하게 예측했는가? 에 대한 비율에 해당한다. 어떤 게임에서 핵 사용자인지 아닌지 분류를 하는 모델을 만들었다고 했을 때 정확도 95%가 나왔다고 하자. 얼핏 생각하기에 이번 모델이 상당히 핵쟁이를 잘 구분해 낸다고 생각할 수 있겠지만 추가적인 확인이 필요하다. 만약 100명의 유저 중 실제 핵 유저가 단 5명만 존재할 경우 모델이 100명 모두 핵유저가 아니다라고 판별해도 정확도는 95%가 나온다. 핵 유저가 아닌 일반유저 95명에 대해서 핵 유저가 아니다 라고 잘 판별한 샘이 되기 때문이다. 결론적으로는 핵 유저를 하나도 찾지 못한 ..