문과생CS정복기

최대가능도추정법(Maximum Likelihood Estimation, MLE)은 생성모델에서 매우 중요한 역할을 합니다. 생성모델에서 MLE의 역할을 설명하기 위해, 생성모델이 어떻게 작동하는지 간략히 설명하고, 그 과정에서 MLE가 어떻게 사용되는지 설명하겠습니다.생성모델에서의 MLE의 역할생성모델은 데이터의 분포를 학습하여 새로운 데이터를 생성할 수 있게 합니다. 이때, 생성모델은 특정한 파라미터(예: 평균과 분산, 혹은 뉴럴 네트워크의 가중치 등)를 가지고 있으며, 이 파라미터들을 최적화하는 것이 모델의 학습 과정입니다. 여기서 MLE가 등장합니다.1. 가능도 함수 설정:생성모델은 주어진 데이터가 특정 확률 분포(예: 가우시안 분포, 다항 분포 등)를 따른다고 가정합니다. 이 가정 하에서, 주어진..

1. 메모리 확인watch -n 1 nvidia-smi2. 프로세스 killps -ef | grep python | awk '{print $2}' | xargs kill -9

Global Average Pooling (GAP)과 Adaptive Average Pooling은 둘 다 평균 풀링을 수행하는 레이어로, 주로 이미지 분류 모델에서 사용되지만, 둘 사이에는 중요한 차이가 있습니다.1. Global Average Pooling (GAP)동작 방식: Global Average Pooling은 입력 피처 맵의 공간 차원(높이와 너비)을 무시하고, 각 채널의 전체 값을 평균하여 하나의 값으로 압축합니다. 즉, 각 채널별로 단일 스칼라 값을 출력합니다.출력 크기: 입력이 (batch_size, channels, height, width)일 경우, GAP의 출력은 (batch_size, channels)가 됩니다.특징: GAP은 입력 피처 맵의 크기와 상관없이 항상 각 채널에 대..

테스트 시간 증강(Test-Time Augmentation, TTA)은 머신 러닝 모델의 강건성과 성능을 개선하기 위해 사용하는 기법으로, 특히 컴퓨터 비전 작업에서 유용합니다. TTA는 테스트 단계에서 테스트 이미지에 다양한 증강을 적용하여 각 증강된 버전에 대해 예측을 수행하고, 이러한 예측을 결합(예: 평균화)하여 최종 출력을 얻는 방식입니다. 이 방법은 데이터의 노이즈와 변동성을 완화하여 더 신뢰할 수 있고 정확한 예측을 가능하게 합니다.다음은 TTA 프로세스에 대한 자세한 설명입니다:1. TTA 변환 정의각 테스트 이미지에 적용할 증강 세트를 정의합니다.이러한 변환에는 좌우 반전, 상하 반전, 회전, 밝기 조정, 스케일링 등이 포함될 수 있습니다.2. TTA 변환 적용각 테스트 이미지에 대해 정..

Normalize는 이미지 데이터를 모델에 입력하기 전에 픽셀 값의 분포를 조정하여 모델의 학습 성능을 향상시키기 위해 수행하는 중요한 전처리 단계입니다. 아래는 Normalize를 수행하는 주요 이유들입니다: 데이터 범위 조정: 원본 이미지의 픽셀 값은 일반적으로 0에서 255 사이입니다. 이 범위를 [0, 1] 또는 [-1, 1] 사이의 값으로 조정하면 모델의 학습이 더 안정적이고 빠르게 이루어질 수 있습니다. 균등한 특성 스케일링: 이미지의 각 채널(R, G, B)은 다른 범위와 평균을 가질 수 있습니다. Normalize를 통해 각 채널의 평균을 0에 가깝게 하고 분산을 1에 가깝게 조정하여 모든 특성이 균등한 중요도를 갖도록 합니다. 이는 경사 하강법을 사용할 때 학습을 더 효율적으로 만듭니다...

파일 크기(이미지 크기)가 이미지 분류에 중요한 영향을 미칩니다. 다음은 그 이유와 관련 사항에 대한 설명입니다.1. 이미지 크기와 해상도해상도: 이미지 해상도는 픽셀 수를 나타내며, 높은 해상도의 이미지는 더 많은 세부 정보를 포함합니다. 높은 해상도는 모델이 더 많은 특징을 학습하는 데 도움이 됩니다.일관성: 모델 학습에 사용되는 이미지 크기를 일관되게 유지하는 것이 중요합니다. 다양한 크기의 이미지를 처리하면 모델의 학습이 어려워질 수 있습니다. 따라서 일반적으로 모든 이미지를 동일한 크기로 리사이징합니다.2. 전처리 단계에서의 크기 조정리사이징: 모든 이미지를 같은 크기로 조정하는 것이 일반적입니다. 이는 모델이 일관된 입력을 받을 수 있게 하여 학습 효율을 높입니다. 예를 들어, 일반적으로 22..

Epoch를 늘려서 train_loss를 줄이고 accuracy와 f1score를 높였지만 submission 점수가 낮게 나오는 이유는 여러 가지가 있을 수 있습니다. 주된 원인과 해결 방법을 설명드리겠습니다.1. 오버피팅(Overfitting)설명: 모델이 훈련 데이터에 너무 맞추어져서 테스트 데이터에서는 일반화되지 못하는 경우입니다.해결 방법: 정규화 기법(예: Dropout, 가중치 감쇠), 조기 종료(Early Stopping)를 사용하고 데이터 증강(Data Augmentation)을 더 많이 적용해 모델의 일반화 성능을 높입니다.2. 데이터 누출(Data Leakage)설명: 훈련 데이터 외의 정보가 모델 학습에 포함되면서 평가 시 성능이 과대 평가되는 경우입니다.해결 방법: 훈련, 검증, ..

문서 분류 작업에 적합한 모델을 선택할 때는 몇 가지 요소를 고려해야 합니다. 여기에는 모델의 크기, 입력 이미지의 해상도, 학습 리소스 및 시간, 그리고 문서의 복잡성이 포함됩니다. 제시된 EfficientVit 모델 리스트는 다양한 크기와 해상도를 제공하므로 특정 요구 사항에 맞춰 선택할 수 있습니다.모델 크기:b 시리즈 (예: b2, b3): 베이스라인 모델로, 일반적인 작업에 적합합니다.l 시리즈 (예: l1, l2, l3): 더 큰 모델로, 더 많은 파라미터를 가지고 있어 복잡한 문서 구조를 더 잘 처리할 수 있습니다.m 시리즈 (예: m0, m1, m2, m3, m4, m5): 중간 크기의 모델로, 균형 잡힌 성능과 효율성을 제공합니다.입력 해상도:r224, r256, r288, r320, r..