ReLU (Rectified Linear Unit)

ReLU (Rectified Linear Unit)는 컨볼루션 신경망(CNN)과 다른 인공 신경망에서 널리 사용되는 활성화 함수입니다. ReLU 함수는 신경망의 각 뉴런에서 입력 신호를 변환하는 역할을 하며, 이 변환된 값이 네트워크의 다음 레이어로 전달됩니다.ReLU 함수의 정의ReLU 함수는 간단하게 다음과 같이 정의됩니다:[\text{ReLU}(x) = \max(0, x)]이 함수는 입력 ( x )가 0 이상이면 그 값을 그대로 출력하고, 0 미만이면 0을 출력합니다.ReLU의 주요 특징비선형성: ReLU는 비선형 함수이므로, ReLU를 사용하는 신경망은 복잡한 함수를 모델링할 수 있습니다. 이 비선형성은 신경망이 선형 모델로는 해결할 수 없는 문제들을 해결하게 해줍니다.계산 효율성: ReLU의 계..
DeepLearning 2024. 6. 27. 16:13
1