[패스트캠퍼스] Upstage AI Lab 3기 학습 블로그_ ML 프로젝트 기본 이론 : Deep Learning & Pytorch 다중 퍼셉트론(Multi-Layer Perceptron, MLP)

다중 퍼셉트론(Multi-Layer Perceptron, MLP)은 인공지능과 머신러닝에서 사용하는 신경망의 한 종류입니다. 쉽게 말해서, MLP는 여러 층으로 이루어진 인공 신경망입니다. 각각의 층은 뉴런(또는 퍼셉트론)으로 구성되어 있으며, 뉴런은 입력 값을 받아서 계산을 수행한 후 출력을 생성합니다.

다중 퍼셉트론 MLP를 표현한 식

다중 퍼셉트론을 쉽게 이해하기 위해 각 구성 요소를 하나씩 설명하겠습니다.

1. 퍼셉트론(Perceptron)

• 기본 단위: 퍼셉트론은 인공 신경망의 가장 기본 단위입니다.
• 구성 요소: 입력 값, 가중치(weight), 바이어스(bias), 활성화 함수(activation function).
• 동작: 입력 값에 가중치를 곱하고, 바이어스를 더한 후, 활성화 함수를 통해 최종 출력을 계산합니다.

2. 다중 퍼셉트론(Multi-Layer Perceptron)

• 층(Layer): MLP는 입력층(Input Layer), 숨겨진 층(Hidden Layer), 출력층(Output Layer)으로 구성됩니다.
  • 입력층: 외부에서 데이터를 받는 층입니다.
  • 숨겨진 층: 입력층과 출력층 사이에 있는 층으로, 여러 개의 숨겨진 층이 있을 수 있습니다.
  • 출력층: 최종 결과를 출력하는 층입니다.
• 뉴런: 각 층은 여러 개의 뉴런으로 이루어져 있으며, 각 뉴런은 이전 층의 모든 뉴런과 연결되어 있습니다.

3. 학습 과정

• 순방향 전파(Forward Propagation): 입력 값을 입력층에서 시작하여 각 층을 거쳐 출력층까지 전달하며 계산하는 과정입니다.
• 오차 계산(Error Calculation): 출력층에서 실제 출력과 목표 출력(정답) 간의 오차를 계산합니다.
• 역방향 전파(Backward Propagation): 계산된 오차를 이용해 가중치와 바이어스를 조정하여 오차를 줄이는 과정입니다. 이는 출력층에서 시작하여 입력층 방향으로 진행됩니다.
• 반복 학습: 위의 과정을 여러 번 반복하여 신경망이 점점 더 정확하게 학습할 수 있도록 합니다.

3-1. Backward Propagation 역전파에서 Chain Rule 연쇄법칙

4. 활성화 함수(Activation Function)

• 역할: 뉴런의 출력을 비선형적으로 만들어주는 함수입니다. 대표적인 활성화 함수로는 ReLU, 시그모이드, 하이퍼볼릭 탄젠트 등이 있습니다.
• ReLU: 입력 값이 0보다 작으면 0을 출력하고, 0보다 크면 입력 값을 그대로 출력합니다.
• 시그모이드: 입력 값을 0과 1 사이의 값으로 변환합니다.
• 하이퍼볼릭 탄젠트(Tanh): 입력 값을 -1과 1 사이의 값으로 변환합니다.

비선형적으로 만들지 않으면 아무리 hidden layer를 많이 만들어도 hidden layer없는 FC layer만큼의 표현력만 가짐. 따라서 activation function을 비선형적으로 만들어야 함. linear activation을 안쓴다는게 아님. 회귀에서는 중간 layer에서는 non-linear를 사용하지만 마지막 layer에서는 linear를 사용하는 방식으로도 사용함. 

 

5. 활용분야

다중 퍼셉트론은 이미지 인식, 음성 인식, 자연어 처리 등 다양한 분야에서 활용됩니다. 여러 층을 사용함으로써 복잡한 패턴을 학습할 수 있어 강력한 성능을 발휘합니다.

그림으로 이해하기

입력층   ->   숨겨진 층   ->   출력층
(뉴런들)   (여러 층 가능)   (뉴런들)
[ x1 x2 ] -> [ h1 h2 h3 ] -> [ y1 ]
            -> [ h4 h5 h6 ] -> [ y2 ]

예시

• 입력층: 키와 몸무게 등의 데이터를 받음.
• 숨겨진 층: 데이터를 처리하여 중간 결과를 생성.
• 출력층: 예를 들어, 특정 질병에 걸릴 확률을 예측.