오토 인코더(Autoencoder, AE)와 변분 오토 인코더(Variational Autoencoder, VAE)

오토 인코더(Autoencoder, AE)와 변분 오토 인코더(Variational Autoencoder, VAE)는 모두 입력 데이터의 압축된 표현을 학습하는 딥러닝 모델이지만, 그 구조와 목적에서 몇 가지 중요한 차이점이 있습니다.

오토 인코더 (Autoencoder, AE)

오토 인코더는 입력 데이터를 효과적으로 압축하고 복원하는 것을 목표로 합니다. 이 모델은 다음 두 부분으로 구성됩니다:

• 인코더(Encoder): 입력 데이터를 받아 내부적으로 더 낮은 차원의 표현(잠재 변수 또는 잠재 공간)으로 변환합니다.
• 디코더(Decoder): 잠재 변수를 사용하여 원본 입력 데이터와 유사한 데이터를 재구성합니다.

오토 인코더의 학습 목표는 입력 ( x )와 디코더가 생성한 출력 ( \hat{x} ) 사이의 차이를 최소화하는 것입니다. 이 차이는 일반적으로 평균 제곱 오차(MSE)와 같은 손실 함수를 통해 측정됩니다.

변분 오토 인코더 (Variational Autoencoder, VAE)

변분 오토 인코더는 오토 인코더의 발전된 형태로, 확률적 접근 방식을 사용하여 입력 데이터의 생성 모델을 학습합니다. VAE의 주요 특징은 다음과 같습니다:

• 확률적 잠재 변수: VAE는 각 입력 데이터 포인트에 대해 확률적 잠재 변수의 분포를 모델링합니다. 인코더는 입력 데이터를 기반으로 잠재 변수의 평균과 분산을 추정하고, 이를 바탕으로 잠재 변수를 샘플링합니다.
• 재구성 손실과 KL 발산: VAE의 손실 함수는 두 부분으로 구성됩니다. 첫 번째는 AE와 유사한 재구성 손실이며, 두 번째는 잠재 변수의 분포가 특정 사전 분포(보통 정규 분포)에 가깝도록 하는 Kullback-Leibler(KL) 발산입니다.

핵심 차이점

1. 목적: AE는 입력 데이터를 잘 복원하는 것에 중점을 두고, VAE는 입력 데이터의 생성적 모델을 학습하는 것을 목표로 합니다.
2. 출력의 확률성: AE는 주어진 입력에 대해 항상 동일한 출력을 생성하는 반면, VAE는 잠재 공간에서 샘플링 과정을 통해 다양한 출력을 생성할 수 있습니다.
3. 손실 함수: AE는 주로 재구성 오차를 최소화하는 데 초점을 맞춥니다. 반면, VAE는 재구성 오차와 함께 잠재 공간의 정규성을 유지하는 KL 발산도 최소화합니다.

이러한 차이점으로 인해 VAE는 AE보다 더 유연하고 다양한 데이터 생성 작업에 적합합니다. VAE는 잠재 공간을 통해 데이터의 다양성을 모델링하고, 이를 이용해 새로운 데이터 인스턴스를 생성할 수 있습니다. 반면, AE는 주로 데이터 압축 및 복원, 노이즈 제거와 같은 작업에 사용됩니다.