Python5 4일째 4.2 odds, logit, 시그모이드함수, 소프트맥스 소프트맥스 정리하기 이제 딥러닝 4일째 들어섭니다. 다층신경망, 심층신경망 그리고 가중치 문제 등 을 익힙니다. 그러다가 보면 출력층에 값들이 생성됩니다. 그런데 분류문제라고 하면 이들 출력층의 값들을 확률값으로 변환하면 편리합니다. 그러기에 앞서 몇 가지 용어를 정리해 봅니다. 중간단계에 사용되는 활성화함수 중 시그모이드 함수 등을 적용하게 되는데 시그모이드 시그모이드 하는데 시그모이드가 뭐지? 우선 시그모이드를 살펴 봅니다. sigmoid의 뜻은 " shaped like the letter S:" "S랑 비슷한" 뜻이구나. 이와 관련하여 여러가지 용어가 나오는데 하나하나 살펴 보겠습니다. 오즈,odds 성공할 확률이 실패할 확률보다 몇 배인가?를 나타내는 비율 p/(1-p) 비가 올 확률이 75% 이.. 2020. 8. 18. 4일째 4.1 각 층의 신호 전달 구현 & 델타 규칙 신경망의 지도 학습 1. 신경망의 가중치 wi를 적당한(?) 값으로 초기화 설정 2. 입력값과 출력값 yj을 입력 3. 입력값과 가중치를 이용하여 계산(곱하여 합하기) dj 값을 구함 4. 계산된 값 dj와 출력값 yj의 오차 ej를 계산 ei = di - yi 5. 이 오차가 최소가 되도록 신경망의 가중치 wj를 조절 $$\bigtriangleup w_{ij} = \alpha e_i x_j$$ 6. 전체 데이터에 대하여 2~5 단계를 반복합니다. 가중치 조정 규칙? 두 노드 간의 가중치는 입력 노드의 값 xj와 오차 ej에 비례하여 조정한다... 가중치 Wij 는 노드 j에서 노드 i로 들어가는 가중치 입니다... 매우 주의 $$w_{ij}\leftarrow w_{ij} + \alpha e_i x_j$.. 2020. 8. 18. 3일째 3.2 활성화 함수(activation function) 이 뭔가요? 활성화함수를 처음 대하는 사람은 감이 잘 오지 않습니다. 영어로는 액티베이트(activate) 한다... (출처: 밑바닥부터 시작하는 딥러닝) 앞에서 설명한 퍼셉트론을 참고해 보면 입력층에 입력값과 가중치를 곱한 것들의 합을 구하면, 이것이 출력치가 되는데, 이 합계가 어떤 특정값(θ)보다 작으면 0 이 되고, 이 합계가 어떤 특정값(θ)보다 크면 1 이 되어 활성화(activate) 됩니다. 여기서 확장하면 b = -θ 라고 하면 다음과 같은 식이 됩니다. 자세히 보면 맞는 내용이긴 하지만 그냥 넘어 가지 마시고, 곰곰히 생각해 보세요 ^^^ 이제 이 식을 다시 변형해 봅니다. 일단 위 식의 y를 h(x) 로 지정하면 다음과 같은 식이 됩니다. 먼저 h(x)를 살펴 봅시다. h 함수는 입력변수 x와 가.. 2020. 8. 14. 2일째 2.2 그림그리기 -matplotlib import numpy as np import matplotlib.pyplot as plt # range(-4,10,2) 는 -4 -2 0 2 4 6 8 을 만드는 함수인 것은 리스트에서 설명했습니다. # 이번에는 넘파이를 이용 np.arange( ) 를 이용하는 모양 x = np.arange(0,6,0.1) # R 에선 x=seq(0,6,0.1) 과 같고 y=np.sin(x) plt.plot(x,y) 2020. 8. 13. 제2강 2.1 넘파이 사용 - import, np.array( ) Jupyter Notbook 사용시 한 줄 입력하고 Alt+Enter 아니면 Shift+Enter import numpy as np # numpy를 np로 지정 x = np.array([-1.0,1.0,2.0]) # 넘파이에 있는 함수 array를 사용하는 모양 ( ) ... 그 안에는[-1.0,1.0,2.0] 배열인가? x # x 를 프린트해 보니 array 로 나타나는 것을 보니 일단 배열인 모양... np.array를 이용한 결과 y = x > 0 # x 배열의 각 원소와 0 을 비교해 보니 y # False, True, True 가 나오는 구나.... 이제 궁금한 것... 배열은 뭣이고 np.array 는 뭣인가? 를 보면 되겠군... 파이썬 자료형에는 리스트형(list)이 있는데 a = [1,2.. 2020. 8. 13. 이전 1 다음
