문과생CS정복기

Classification에서 Loss Function(손실 함수)은 모델이 예측한 값과 실제 값 사이의 차이를 측정하는 함수로, 모델을 학습시키는 데 중요한 역할을 합니다. 손실 함수는 모델의 예측 성능을 평가하고, 최적화 과정에서 이를 최소화함으로써 모델의 성능을 향상시킵니다. 다양한 분류 문제에 맞춰 여러 종류의 손실 함수가 사용되며, 대표적인 예로는 다음과 같습니다.1. 크로스 엔트로피 손실 (Cross-Entropy Loss)크로스 엔트로피 손실 함수는 분류 문제에서 가장 많이 사용되는 손실 함수 중 하나입니다. 특히, 다중 클래스 분류 문제에서 소프트맥스 활성화 함수와 함께 사용됩니다. 크로스 엔트로피 손실 함수는 주로 로지스틱 회귀(logistic regression)나 신경망(neural ..

이 이미지에서는 다양한 최적화 알고리즘에 대해 설명하고 있습니다. 각 알고리즘은 기계 학습 모델의 손실 함수를 최소화하기 위해 사용되며, 서로 다른 방식으로 학습률과 스텝 크기를 조정합니다. 이를 이해하기 쉽게 하나씩 설명해드리겠습니다.1. GD (Gradient Descent)설명: 모든 데이터를 사용하여 손실 함수의 기울기를 계산하고, 그 방향으로 이동하여 최소값을 찾습니다.특징: 모든 데이터를 사용하기 때문에 계산 비용이 큽니다.예시:import numpy as np#X: 독립 변수(특성) 데이터. 여기서는 𝑚×𝑛 형태의 2차원 배열입니다.#y: 종속 변수(목표) 데이터. 길이가 𝑚인 1차원 배열입니다.#learning_rate: 학습률. 각 반복에서 계수를 얼마나 크게 업데이트할지를 결정합니..

베타 계수(𝛽) 추정 방법회귀 분석에서 우리는 데이터의 패턴을 찾기 위해 베타 계수(𝛽)를 추정합니다. 베타 계수는 각 독립 변수(특성)가 종속 변수(결과)에 얼마나 영향을 미치는지를 나타냅니다.기본 개념목표: 우리가 찾고자 하는 것은 회귀 계수인 베타(𝛽)입니다. 이 값들을 알아내면, 모델이 주어진 독립 변수들을 사용하여 결과를 예측할 수 있습니다.편미분: 수학적으로 베타 계수를 찾기 위해, 우리는 손실 함수(Loss Function)를 사용합니다. 손실 함수는 모델의 예측값과 실제값 간의 차이를 측정하는 함수입니다. 이 손실 함수를 최소화하려면, 각 베타(𝛽)에 대해 편미분을 사용하여 최소값을 찾습니다.손실 함수선형 회귀의 손실 함수는 일반적으로 잔차 제곱합(Residual Sum of Squ..

이진분류는 트레이닝 데이터의 특성과 그들간의 상관관계를 분석하여, 임의의 입력데이터를 사전에 정의된 두 가지 범주중 하나로 분류할 수 있는 예측모델을 만드는 과정이메일 스팸 분류, Spam(1) 또는 Ham(0)금융 사기 탐지, 사기 거래(1) 또는 정상 거래(0)의료 진단, 암 조직(1) 또는 정상 조직(0) 로지스틱 회귀 알고리즘은①트레이닝 데이터의 특성과 분포를 나타내는 최적의 직선을 찾고,②해당 직선을 기준으로 데이터를 위(1)나 아래(0) 또는 왼쪽(1)이나 오른쪽(0) 등으로 분류하는 방법입니다.이러한 로지스틱 회귀는 이진분류 시스템의 알고리즘 중에서도 정확도가 높은 알고리즘으로 알려져 있어서 딥러닝에서도기본적인 컴포넌트로 사용되고 있습니다.  로지스틱 회귀 알고리즘을 도식화하면 다음과 같습니..

선형회귀는 트레이닝 데이터를 사용하여 데이터의 특성과 상관관계를 분석하고, 이를 기반으로 모델을 학습시켜, 트레이닝데이터에 포함되지 않은 새로운 데이터에 대한 결과를 연속적인 숫자값으로 예측하는 과정입니다.부동산 가격 예측: 주택의 평균 방 개수(feature), 주택의 가격(target)임금 결정: 경력(feature), 특정 직원의 예상임금(target)선형회귀시스템에서의 학습이란 트레이닝 데이터의 분석을 통해 데이터의 분포를 가장 잘 표현하는 선형관계를 나타내는일차함수의 가중치𝑾와 바이어스𝒃를 찾아가는 과정입니다.여기에서 중요한 것은 직선 𝒚 = 𝑾𝒙 + 𝒃 함수의 계산 값 𝒚와 정답 𝒕의 차이(오차)를 최대한 작게 만드는 것입니다. 주어진 트레이닝 데이터를 바탕으로 오차들의 합, 즉..