엔트로피가 뭐지?
엔트로피가 높으면 좋다는 건가? 나쁘다는 건가?
... 일단 엔트로피가 높으면(크면) 안 좋은 것이라고 생각하자...
... 청소를 안 하면 방안이 엔트로피가 높아진다...
"엔트로피"도 볼 때마다 헷갈려..
엔트로피를 검색해 보니
" 물리학에서 열역학 제2법칙은
열적으로 고립된 계의 총 엔트로피가 감소하지 않는다'
" 엔트로피는 물질계의 열적 상태를 나타내는 물리량의 하나이며
간단하게 말해 무질서량이다"
그래서 어쩌라고? 무슨 소린지 잘 모르겠다.
암튼 "엔트로피는 무질서량이고, 그러면 엔트로피가 적을수록 좋다는 것이구나..."
이렇게 이해를 하자.
그러면 결정나무(Decision Tree)를 이용하게 되면
처음에는 무질서 상태로 있다가 (가지를 치면서) 점차 질서 상태로 가게 되는 것 같은데...
처음에는 엔트로피가 처음에는 크다가, 점차 엔트로피가 적어지는 상태로 가는 모양...
(1) 남학생과 여학생이 반반(1:1) 섞여 있는 그룹과
(2) 남학생과 여학생이 9:1로 섞여 있는 그룹 어느 것이 무질서한가?
답은 (1) 이 무질서하다.... 이해가 안 되네...
그러면 (1) 그룹이 엔트로피도 높다는 말인가? 네
(남,녀학생 단어를 쓰니까 성차별 논란이 될 것 같아서 조심스럽긴 하지만
이해를 쉽게 하려고 한 것이니 양해를 부탁드립니다.
답글을 달아 주시면, 보완하도록 하겠습니다.)
남학생만 있는 그룹, 또는 여학생만 있는 그룹은 순수(pure) 합니까? 네, 무질서가 없습니다.
이제 남학생만 있는 그룹에 여학생이 들어가면 순수도(purity)가 줄어듭니까? 네
무질서도가 조금 늘어납니까? 예
그래도 순수도가 상당히 높지요? 예
이번에는 남학생 그룹에 여학생이 여러 명 들어갑니다. 순수도는 그만큼 줄어들겠지요? 네
언제까지 순수도가 줄어들까요? 남학생, 여학생 숫자가 같아질 때입니다.
무질서도가 최고입니다. 이때 엔트로피가 최고가 됩니다.
좀 이상하지 않나요?... 남녀 학생 비율이 반반이면 참 안정적인 것 같은데
무질서도가 높다고....
계속해서 남학생 그룹에 여학생이 들어가서 남학생 수보다 더 많아지면?
다시 순수도는 늘어나고 엔트로피 값은 줄어듭니다
'머신러닝 > 6. 의사결정나무' 카테고리의 다른 글
(R3)제04강(1.1) 의사결정나무 - iris, rpart, caret (0) | 2020.12.29 |
---|---|
(p3)제04강_01 파이썬으로 해 보는 의사결정나무 (3) | 2020.11.10 |
4.1 의사결정나무 - 회귀(regression) 나무, 분류(classification)나무 (0) | 2020.08.23 |