활성화 함수 #

정의 #

활성화 함수(Activation function)이란 입력된 데이터의 가중 합을 출력 신호로 변환하는 함수이다. 인공 신경망에서 이전 레이어에 대한 가중 합의 크기에 따라 활성 여부가 결정된다. 신경망의 목적에 따라, 혹은 레이어의 역할에 따라 선택적으로 적용한다.

종류 #

• 극성에 따른 분류

  1. 단극성 활성화 함수
     • 출력 값이 양수만 가능한 함수
  2. 양극성 활성화 함수
     • 출력 값이 음수와 양수 모두 가능한 함수

• 함수 형태에 따른 분류

  1. 계단 함수
     : 활성화 함수의 가장 간단한 예시. 임계치를 기준으로 가중합의 활성화 여부가 결정되며, 0 혹은 1의 이산적인 값을 출력한다. 인공 신경망에서 활성화 함수로 계단함수를 용하면, 기울기가 무한대(x=0)인 구간에서 미분이 불가하여 가중치의 업데이트 과정에서 문제가 발생한다. 따라서 계단함수는 단일 퍼셉트론의 활성화 함수로만 사용되며, 딥러닝의 활성화 함수로는 부적절하다.

     

  2. 시그모이드 함수(sigmoid)
     : 시그모이드(sigmoid)는 S자 형태라는 의미로, 시그모이드 함수는 S자형 곡선의 함수를 의미한다. 정의역은 실수 전체이지만, 유한한 구간(a,b) 사이의 한정된 값을 반환한다. a와 b는 주로 0과 1을 사용한다. 시그모이드 함수에서 정의역의 절댓값이 커질수록 미분 값은 0으로 수렴한다. 그래서 가중치가 업데이트되지 않고 소실되는 Gradient vanishing 이 발생할 수 있다.

     

     

  3. ReLU
     : ReLU(Rectified Linear Unit)은 입력 값이 0보다 작으면 0을, 0보다 크면 입력 값 그대로(선형 함수) 출력하는 함수이다. 시그모이드의 단점인 Gradient vanishing 현상을 해결하며, 단순하지만 성능이 좋아 자주 사용된다. 그러나 가중합이 음수인 노드들은 다시 활성화되지 않는 dying Relu(dead neuron) 현상이 발생하기도 한다. 이를 보완하기 위하여 0 이하의 값에서도 기울기를 가지는 함수(leakyReLU, PReLU)들이 등장하였다.

     

     

  4. ELU
     : ELU(Exponential Linear Unit)은 ReLU와 그 형태가 유사하나, 입력 값이 0인 지점이 첨 점(sharp point)이 아니기에 0 에서도 미분할 수 있으며, 0 이하 입력의 모든 출력이 0이 아니라 0으로 수렴하는 형태의 함수이다. 따라서 dying ReLU 현상을 해결하였지만 ReLU의 장점은 모두 가져 딥러닝에서 자주 사용한다. 그러나 선형 함수로 구성된 ReLU에 비해 exponential function을 계산해야 하는 비용이 든다.

     

  5. Softmax
     : Softmax는 출력 값이 0~1 사이로 정규화되며, 모든 출력 값의 총합이 항상 1이 되는 특성을 가진 함수이다. softmax는 주로 인공 신경망의 출력층에서 사용되며, 다중 클래스를 분류하는 목적으로 사용된다. 여러 개의 클래스에 대해 예측한 결과를 정규화하여 확률값처럼 표현해준다.

     

참고 자료 #

• https://360digitmg.com/activation-functions-neural-networks
• https://yeomko.tistory.com/39