문과생CS정복기

Gradient vanishing 또는 그래디언트 소실 문제는 신경망, 특히 깊은 신경망을 훈련할 때 자주 발생하는 문제 중 하나입니다. 이 현상은 네트워크의 깊이가 깊어질수록, 신경망을 역전파하는 과정에서 발생하는 그래디언트(기울기)가 점점 작아져, 결국에는 아주 작은 값이 되어 가중치가 제대로 업데이트되지 않는 상태를 말합니다. 이는 신경망이 충분히 학습되지 못하게 하며, 최적의 성능을 발휘하지 못하게 합니다.그래디언트 소실의 원인활성화 함수: 시그모이드(sigmoid)나 하이퍼볼릭 탄젠트(tanh)와 같은 일부 활성화 함수는 그래디언트를 계산할 때 입력값의 절대값이 클 경우 그래디언트가 매우 작아지는 문제가 있습니다. 이는 출력 값이 -1과 1 사이로 제한되기 때문에, 그래디언트가 네트워크를 거슬러..

Receptive Field는 신경망의 특정 레이어에서 뉴런이 "보고" 반응할 수 있는 입력 데이터의 영역을 의미합니다. 다시 말해, 컨볼루션 신경망(CNN)에서 한 뉴런의 receptive field는 해당 뉴런의 출력값에 영향을 주는 입력 이미지의 부분입니다. 이 개념은 시각적 맥락에서 특히 중요하며, 네트워크가 얼마나 넓은 범위의 입력 정보를 한 번에 처리할 수 있는지를 나타냅니다.Receptive Field의 중요성정보의 범위 이해: 한 뉴런이 입력 이미지의 어느 부분을 "보고" 있는지 이해함으로써, 해당 레이어가 어떤 종류의 정보를 처리하고 있는지 파악할 수 있습니다. 예를 들어, 초기 레이어의 뉴런은 작은 영역의 간단한 특징(선, 가장자리 등)을 인식하는 반면, 네트워크가 깊어질수록 뉴런의 r..

3x3 컨볼루션 커널을 사용하는 것은 컨볼루션 신경망(CNN) 설계에서 매우 일반적인 선택입니다. 이 크기는 계산 효율성, 성능, 그리고 네트워크 깊이의 균형을 잘 맞추는 데 유리하기 때문에 널리 사용됩니다. 아래에서는 3x3 컨볼루션 커널의 사용 이유를 몇 가지 관점에서 설명합니다:1. 효율적인 정보 처리3x3 컨볼루션은 이미지의 지역적 특징을 효과적으로 추출할 수 있는 충분한 크기를 제공합니다. 1x1 커널은 주변 정보를 고려하지 않고, 5x5 이상의 큰 커널은 불필요하게 많은 정보를 처리하며 매개변수 수가 급격히 증가합니다. 반면, 3x3 커널은 주변 픽셀과의 관계를 효과적으로 포착하면서도 매개변수의 수를 상대적으로 적게 유지합니다.2. 매개변수와 계산 효율성3x3 컨볼루션은 5x5 컨볼루션과 비교..

비전 분야에서는 전통적인 MLP (MultiLayer Perceptron) 모델이 갖는 몇 가지 한계로 인해 주로 CNN (Convolutional Neural Network)이 널리 사용됩니다. MLP와 CNN은 모두 딥러닝 모델의 유형이지만, 이미지와 같은 고차원 데이터를 처리할 때 CNN이 더 적합한 구조를 가지고 있습니다.MLP의 한계MLP는 이미지와 같은 고차원 데이터를 처리할 때 몇 가지 제약이 있습니다:데이터의 공간 구조 무시: MLP는 입력 데이터를 일렬로 펼쳐야 하기 때문에 (Flatten), 이미지의 공간적인 정보가 손실됩니다. 이로 인해 이미지 내의 로컬 패턴과 구조를 학습하는 데 비효율적일 수 있습니다.매개변수의 수: 이미지를 일렬로 펼치면 매우 많은 수의 입력 특성이 생성됩니다. ..

1. vscode에서 Ctrl + ~ : bash창에서 graphviz 설치apt-get install graphviz2. 다음 코드 실행import torchimport torchvision.models as modelsimport torchviz# 모델과 입력 데이터를 같은 디바이스로 이동device = torch.device("cuda" if torch.cuda.is_available() else "cpu")model = models.resnet18().to(device)x = torch.randn(1, 3, 224, 224).to(device).requires_grad_(True)# 모델 실행y = model(x)# 계산 그래프 시각화dot = torchviz.make_dot(y, params=d..

https://github.com/TylerYep/torchinfopip install torchinfoAlternatively, via conda: conda install -c conda-forge torchinfoHow To Usefrom torchinfo import summarysummary(model, input_size=(1, 3, 224, 224)) 출력결과:========================================================================================== Layer (type:depth-idx)                   Output Shape              Param # ======================..

Class Activation Mapping (CAM)원리: CAM은 CNN의 마지막 컨볼루션 레이어에서 생성된 특성 맵에 대해 GAP을 적용한 후, 특정 클래스의 예측에 대한 가중치를 곱하여 시각화합니다. 이 기술은 네트워크가 이미지의 어느 부분을 주목하며 해당 클래스를 예측했는지를 보여줍니다.사용 조건: CAM을 적용하기 위해서는 모델 아키텍처가 매우 특정해야 합니다. 즉, 마지막 컨볼루션 레이어 다음에 바로 GAP이 와야 하며, 그 다음에는 각 클래스에 대한 선형 레이어(로지스틱 회귀)가 위치해야 합니다.Gradient-weighted Class Activation Mapping (Grad-CAM)원리: Grad-CAM은 CAM을 일반화한 형태로, 어떤 CNN 아키텍처에도 적용할 수 있습니다. Gr..

Fully Connected Layer의 특징 및 단점특징:FC 레이어는 입력을 받아 모든 뉴런이 서로 연결되어 있는 전통적인 신경망 레이어입니다.FC 레이어는 특징들을 학습하고 분류를 위한 결정을 내리는 데 사용됩니다.단점:파라미터의 수: FC 레이어는 매우 많은 파라미터를 가지고 있어, 모델의 크기가 커지고 과적합(overfitting)의 위험이 증가합니다.계산 비용: 파라미터 수가 많기 때문에 학습 및 예측에 많은 계산 비용이 소모됩니다.공간적 정보의 손실: 입력 이미지의 공간적 구조를 잘 활용하지 못하고, 모든 입력 특징을 동등하게 취급합니다. Global Average Pooling의 특징 및 장점특징:GAP 레이어는 특성 맵(feature map)의 각 채널에 대해 평균을 계산합니다.이렇게 계..