본문 바로가기

모형평가3

(R1)제03강(02)_모형성능 평가 지표 : MSE 실습하기... 지난 시간에 모형을 평가하는 지표로 MSE, MAE,MAPE 를 설명한 바 있습니다. 이번 시간은 이 중에서 MSE(Mean Squared Error) 구하는 실습을 해 보겠습니다. 제가 강의에 자주 사용하는 패키지 {stats}에 들어 있는 데이터 mtcars 를 이용합니다. 보다 세부적인 내용은 유명한 ISLR(An Introduciton to Statitical Learning)을 보시면 많은 도움이 되실 겁니다. data(mtcars) str(mtcars) set.seed(123) # 매번 동일한 난수 생성 ran1 2021. 12. 16.
(R1,P1)제02강(03)_Confusion Matrix와 ROC Curve/AUC Confusion Matrix * Confusion Matrix 를 혼동행렬, 혼돈행렬, 오차행렬 등 여러가지 용어로 사용되고 있네요 혼돈매트릭스는 머신러닝에 의해서 예측된 분류가 얼마나 잘 예측되었는지 평가할 때 사용되는 테이블입니다. 2차원 테이블로 표시가 되는데, 세로축으로 예측치, 가로축으로는 실제 원래 값으로 표시됩니다. * 때로는 이와 반대로 가로축이 실제 원래값, 가로축이 모형의 예측치로 표시되기도 합니다. (1) 혼돈행렬을 해석할 때, 일단 "예측"을 중심으로, 예측이 "맞다"라고 주장하면 Positive, "아님" 이라고 주장하면 "Negative" 그래서 첫 행(가로 방향)은 Positive 입니다. 예측값이 실제값(원래값)과 동일하면 True가 되므로, True Positive 가 됩.. 2021. 12. 16.
(R1,P1)제02강(01)모형 평가 지표 -SSE, MSE, MAE, MAPE 예측을 얼마나 잘 했는가를 평가하는 지표에는 다음과 같은 것들이 있습니다. (모형평가에서는 "모형평가지표", 예측에서는 "예측평가지표" 라고 부릅니다) 지표의 값이 작을수록 예측을 잘 한 것입니다. 그러면 어떤 지표는 모델 A가 (모델B보다) 작고, 어떤 지표는 모델A가 (모델 B보다) 크면 어떻게 해야 할까요? 그러니까 너무 지표... 지표... 하면서 무조건 작은 값이 최고... 라는 생각을 버리고 현장(Domain Knowledge)의 소리를 들으셔야 합니다... ◯ 오차제곱합(SSE, Sum of Squared Error) ◯ 평균 오차제곱(MSE, Mean Squared Error) ◯ 평균 절대편차(MAE, Mean Absolute Deviation) ◯ 평균 절대 퍼센트오차(MAPE, Mea.. 2021. 12. 16.