본문 바로가기

머신러닝/2. 모형성능평가5

(R1)제01강(04) 모형성능평가 - 붓스트랩 Bootstrap 붓스트랩(Bootstrap) 1979년: 미국 Stanforrd 대학교, 브래들리 에프런 (Bradley Efron) 교수 1977년 창안, 붓스트랩 소개 그 후 붓스트랩은 현재 통계학에서는 없어서는 안 될 중요한 주제라고... 붓스트랩은 원 데이터 (개수n)에서 랜덤으로 추출하는데, 복원 추출하여 (... 데이터가 중복되는 것을 허락) 원래의 데이터 개수n만큼 추출하여 분석하는 방법입니다. 일반적으로 표준오차(평균의 표준편차)를 구하는 방법을 다음과 같습니다. 원 데이터에서 표준편차를 구하고(쉽게 구할 수 있습니다) 이 표준편차/ (데이터 갯수의 제곱근) 으로 구합니다. set.seed(12345) norm_x 2022. 1. 6.
(R1)제01강(05)_모형성능평가 : LOOCV, k-fold 실습 주어진 데이터(예를 들어 mtcars) 에서 잘 맞는 회귀모형을 구하거나, 회귀모형이 얼마나 잘 맞는지를 보려면 데이터셋을 train 데이터와 test 데이터로 구분하여 train 데이터에서 모형(회귀모형등)을 구하고 이를 test 데이터 적용하고, 얼마나 잘 맞는지 지표로서 MSE(Mean Squared Error)을 한 번 구해 보았습니다. 그런데 이러한 작업을 여러 번 해 보려면 어떻게 할까? (1) 데이터(관측치수 n개)dptj 관측치 1개를 제외하고 (2) n-1개의 관측치를 가지고 모형(회귀분석)을 구하고 (3) 이를 test 데이터(이는 관측치 1개뿐) 적용하여 예측치(이것도 1개)를 구합니다. (4) 이번에는 2번째 관측치를 제외하고, 위와 같은 방법으로 작업을 진행합니다. (5) 이러기를.. 2021. 12. 30.
(R1)제03강(02)_모형성능 평가 지표 : MSE 실습하기... 지난 시간에 모형을 평가하는 지표로 MSE, MAE,MAPE 를 설명한 바 있습니다. 이번 시간은 이 중에서 MSE(Mean Squared Error) 구하는 실습을 해 보겠습니다. 제가 강의에 자주 사용하는 패키지 {stats}에 들어 있는 데이터 mtcars 를 이용합니다. 보다 세부적인 내용은 유명한 ISLR(An Introduciton to Statitical Learning)을 보시면 많은 도움이 되실 겁니다. data(mtcars) str(mtcars) set.seed(123) # 매번 동일한 난수 생성 ran1 2021. 12. 16.
(R1,P1)제02강(03)_Confusion Matrix와 ROC Curve/AUC Confusion Matrix * Confusion Matrix 를 혼동행렬, 혼돈행렬, 오차행렬 등 여러가지 용어로 사용되고 있네요 혼돈매트릭스는 머신러닝에 의해서 예측된 분류가 얼마나 잘 예측되었는지 평가할 때 사용되는 테이블입니다. 2차원 테이블로 표시가 되는데, 세로축으로 예측치, 가로축으로는 실제 원래 값으로 표시됩니다. * 때로는 이와 반대로 가로축이 실제 원래값, 가로축이 모형의 예측치로 표시되기도 합니다. (1) 혼돈행렬을 해석할 때, 일단 "예측"을 중심으로, 예측이 "맞다"라고 주장하면 Positive, "아님" 이라고 주장하면 "Negative" 그래서 첫 행(가로 방향)은 Positive 입니다. 예측값이 실제값(원래값)과 동일하면 True가 되므로, True Positive 가 됩.. 2021. 12. 16.
(R1,P1)제02강(01)모형 평가 지표 -SSE, MSE, MAE, MAPE 예측을 얼마나 잘 했는가를 평가하는 지표에는 다음과 같은 것들이 있습니다. (모형평가에서는 "모형평가지표", 예측에서는 "예측평가지표" 라고 부릅니다) 지표의 값이 작을수록 예측을 잘 한 것입니다. 그러면 어떤 지표는 모델 A가 (모델B보다) 작고, 어떤 지표는 모델A가 (모델 B보다) 크면 어떻게 해야 할까요? 그러니까 너무 지표... 지표... 하면서 무조건 작은 값이 최고... 라는 생각을 버리고 현장(Domain Knowledge)의 소리를 들으셔야 합니다... ◯ 오차제곱합(SSE, Sum of Squared Error) ◯ 평균 오차제곱(MSE, Mean Squared Error) ◯ 평균 절대편차(MAE, Mean Absolute Deviation) ◯ 평균 절대 퍼센트오차(MAPE, Mea.. 2021. 12. 16.

티스토리툴바