딥러닝6 (R3)제09강_02 소프트맥스(softmax) 소프트맥스는 분류에 사용됩니다. $\\ $\begin{align*} y_k &= \frac {exp(a_k)} { \sum\limits_{i=1}^n exp{(a_i)} } \\ \end{align*} exp(x)는 $e^x$를 뜻하는 지수함수 입니다. 소프트맥스 함수의 분자는 $a_k$의 지수함수, 분모는 지수함수의 합으로 구성됩니다. 지수함수는 크기가 크므로 다음과 같이 조정하여 해결합니다. $\begin{align*} y_k &= \frac {exp(a_k)} { \sum\limits_{i=1}^n exp{(a_i)} } \\ &= \frac {C \cdot exp(a_k)} { C \cdot \sum\limits_{i=1}^n exp{(a_i)} } \\ &= \frac { exp(a_k+logC.. 2021. 5. 21. (P)제05강_손글씨 파일 읽어오기 - sklearn, MNIST [출처] 오래 되어 기억이 가물가물 합니다. 찾아서 추가하도록 하겠습니다. ^^^ import numpy as np import matplotlib.pyplot as plt from sklearn.datasets import load_digits # c:> pip show scikit-learn # Location d:\Anaconda3\Lib\site-packages # d:\Anaconda3\Lib\site-packages\sklearn\datasets digits = load_digits() from sklearn.preprocessing import scale data = scale(digits.data) def print_digits(images,y,max_n=10): fig = plt.figu.. 2020. 12. 18. (P1)제01강(01)딥러닝 역사 - 수정 보완... 이제 딥러닝을 정리해 봅니다. 우선 딥러닝의 역사를 정리하여 보았습니다. 구글에서 "딥러닝의 역사"를 쳐 보면 많은 정보를 볼 수 있습니다. 그것을 정리해 본 것입니다. 물론 관련서적도 많이 참조하기도 했습니다. 계속 수정해 나갈 계획입니다. 참고 자료마다 조금씩 달라서 내용이 정확하게 맞지 않는 경우가 있습니다. 이 자료는 참고만 하시고 각자 추가하실 것을 권합니다. 그리고 틀린 부분이 있으시면 지적해 주시면 수정하도록 하겠습니다. 딥러닝의 역사를 시간대 순으로 보면 도움이 되더라구요. 그런데 연도에 대하여 너무 세부적으로 신경을 쓸 필요가 없는 듯 합니다. 무슨 시험 공부하듯 하실 필요는 없고, 대략 그러하구나.. 정도 참고자료: 처음배우는 인공지능 Deep Learning with R 3분 딥러닝 .. 2020. 9. 27. 4일째 4.2 odds, logit, 시그모이드함수, 소프트맥스 소프트맥스 정리하기 이제 딥러닝 4일째 들어섭니다. 다층신경망, 심층신경망 그리고 가중치 문제 등 을 익힙니다. 그러다가 보면 출력층에 값들이 생성됩니다. 그런데 분류문제라고 하면 이들 출력층의 값들을 확률값으로 변환하면 편리합니다. 그러기에 앞서 몇 가지 용어를 정리해 봅니다. 중간단계에 사용되는 활성화함수 중 시그모이드 함수 등을 적용하게 되는데 시그모이드 시그모이드 하는데 시그모이드가 뭐지? 우선 시그모이드를 살펴 봅니다. sigmoid의 뜻은 " shaped like the letter S:" "S랑 비슷한" 뜻이구나. 이와 관련하여 여러가지 용어가 나오는데 하나하나 살펴 보겠습니다. 오즈,odds 성공할 확률이 실패할 확률보다 몇 배인가?를 나타내는 비율 p/(1-p) 비가 올 확률이 75% 이.. 2020. 8. 18. 4일째 4.1 각 층의 신호 전달 구현 & 델타 규칙 신경망의 지도 학습 1. 신경망의 가중치 wi를 적당한(?) 값으로 초기화 설정 2. 입력값과 출력값 yj을 입력 3. 입력값과 가중치를 이용하여 계산(곱하여 합하기) dj 값을 구함 4. 계산된 값 dj와 출력값 yj의 오차 ej를 계산 ei = di - yi 5. 이 오차가 최소가 되도록 신경망의 가중치 wj를 조절 $$\bigtriangleup w_{ij} = \alpha e_i x_j$$ 6. 전체 데이터에 대하여 2~5 단계를 반복합니다. 가중치 조정 규칙? 두 노드 간의 가중치는 입력 노드의 값 xj와 오차 ej에 비례하여 조정한다... 가중치 Wij 는 노드 j에서 노드 i로 들어가는 가중치 입니다... 매우 주의 $$w_{ij}\leftarrow w_{ij} + \alpha e_i x_j$.. 2020. 8. 18. 역전파(?) 뭐예요... 역("거꾸로") 전파("전달한다")... 逆傳播 "머신러닝", "머신러닝" 하니까 새로운 것인 줄 알고 들여다보니 머신러닝의 여러 기법들이 통계학의 다변량 분석기법들과 거의 같은 것을 알고 머신러닝이 다변량 통계기법과 비슷하고, 알고리즘을 의미하는 모양이구나... 생각하게 되었습니다. 그러다 딥러닝 세미나에 참석하게 되었는데 "역전파" "역전파" 하길래 무슨 "전자기파"의 일종으로 딥러닝에서는 "음파" "파장" 같은 것을 다루는 모양이구나 라고 생각했습니다. "역전파"는 역逆으로 전파되는 무슨 "전자기파"의 개념을 이용한 모형인 모양이구나.... 알고 보니 그런 뜻이 아니고 "역(거꾸로, 逆)으로 전파(전달하는, propagation) 傳播되는 것" ^^^ 딥러닝의 Hidden Layer 모형, 그리고 "백 프로프게이션"이라... 멋진 생각들... 어.. 2020. 7. 8. 이전 1 다음
