3일째 3.2 활성화 함수(activation function) 이 뭔가요?

 

활성화함수를 처음 대하는 사람은 감이 잘 오지 않습니다.

영어로는 액티베이트(activate) 한다... (출처: 밑바닥부터 시작하는 딥러닝)

 

앞에서 설명한 퍼셉트론을 참고해 보면

입력층에 입력값과 가중치를 곱한 것들의 합을 구하면,

이것이 출력치가 되는데,

이 합계가 어떤 특정값(θ)보다 작으면 0 이 되고,

이 합계가 어떤 특정값(θ)보다 크면    1 이 되어 활성화(activate) 됩니다. 

 

여기서 확장하면 b = -θ 라고 하면 다음과 같은 식이 됩니다.

자세히 보면 맞는 내용이긴 하지만 그냥 넘어 가지 마시고, 곰곰히 생각해 보세요 ^^^

 

이제 이 식을 다시 변형해 봅니다. 

일단 위 식의 y를 h(x) 로 지정하면 다음과 같은 식이 됩니다.

 

먼저 h(x)를 살펴 봅시다.

h 함수는 입력변수 x와 가중치를 이용하여 출력 y를 만드는 기능입니다.

한편으로 h(x) 는 0 보다 작으면 0,  0 보다 크면  1을 만듭니다.

 

그럼 이제 활성화함수로 넘어갑니다.

위의 식을 간단하게 표현하면 다음과 같이 됩니다.

 

이를 다음과 같이 표현할 수 있습니다. 다음 그림이 핵심입니다. ^^^

입력으로 들어오는 것들의 가중합이 바로 a 가 되고

이 입력값을 h( ) 함수로 어쩌구 저쩌구 하여 출력값 y를 내 보내는 구나.

그럼 h( )가 뭐냐? 이것이 바로 활성화함수입니다.

이 활성화함수에는 어떤 것이 있을까?

(1) 시그모이드(sigmoid) 함수 => 이것은 로지스틱회귀분석에서 다룬 함수입니다.

(2) 계단함수(step funciton)

(3) ReLU( 렐루 렐루 렐루 하는) 함수 Rectified Linear Unit 등이 있습니다.