FC layer의 단점을 극복한 global average pooling, GAP

패스트캠퍼스 upstage AI 부트캠프 중 김다현 강사님 강의에서 발췌

 

Fully Connected Layer의 특징 및 단점

특징:

• FC 레이어는 입력을 받아 모든 뉴런이 서로 연결되어 있는 전통적인 신경망 레이어입니다.
• FC 레이어는 특징들을 학습하고 분류를 위한 결정을 내리는 데 사용됩니다.

단점:

1. 파라미터의 수: FC 레이어는 매우 많은 파라미터를 가지고 있어, 모델의 크기가 커지고 과적합(overfitting)의 위험이 증가합니다.
2. 계산 비용: 파라미터 수가 많기 때문에 학습 및 예측에 많은 계산 비용이 소모됩니다.
3. 공간적 정보의 손실: 입력 이미지의 공간적 구조를 잘 활용하지 못하고, 모든 입력 특징을 동등하게 취급합니다.

 

Global Average Pooling의 특징 및 장점

특징:

• GAP 레이어는 특성 맵(feature map)의 각 채널에 대해 평균을 계산합니다.
• 이렇게 계산된 평균값들은 네트워크의 최종 출력 또는 다음 레이어로의 입력으로 사용됩니다.

장점:

1. 파라미터 감소: GAP은 파라미터를 추가하지 않기 때문에 모델의 크기가 줄고, 과적합의 위험이 감소합니다.
2. 계산 효율성: 평균 계산은 매우 효율적이며, 추가적인 가중치 없이 구현됩니다.
3. 공간적 정보 보존: GAP은 각 특성 맵의 공간적 정보를 평균으로 요약하여, 이 정보를 보존합니다. 따라서 위치에 덜 민감한 특징을 학습할 수 있습니다.
4. 적응적 크기 조정: 입력 이미지의 크기에 관계없이 사용할 수 있어, 다양한 크기의 입력을 처리할 수 있는 모델을 만들 수 있습니다.

 

결론

Global Average Pooling은 Fully Connected 레이어의 단점을 효과적으로 극복합니다. 특히 모델 크기를 줄이고, 과적합을 방지하며, 네트워크의 계산 효율성을 높이는 데 도움을 줍니다. 이러한 이유로, 많은 현대의 CNN 아키텍처에서는 최종 분류 레이어로서 FC 대신 GAP을 사용하는 경우가 많습니다.

 

패스트캠퍼스 upstage AI 부트캠프 중 김다현 강사님 강의에서 발췌