문과생CS정복기

만약 sales를 X 변수에 포함하여 sales y를 예측하려고 한다면 ml돌릴 때 어떤 결과가 나올까?만약 sales 컬럼을 독립 변수(X)에 포함하여 sales를 종속 변수(y)로 예측하려고 한다면, 모델이 미래의 매출을 예측하기 위해 현재의 매출을 사용하게 되므로 데이터 누수(data leakage) 문제가 발생합니다. 이는 모델이 훈련 데이터에서 너무 많은 정보를 얻어 과적합(overfitting)하게 되어 테스트 데이터에서의 성능이 크게 떨어지는 원인이 됩니다.데이터 누수란?데이터 누수는 모델이 훈련 중에 예측하고자 하는 대상 변수와 관련된 정보를 부적절하게 사용하게 되는 상황을 말합니다. 이는 모델의 성능을 과대평가하게 만들며, 실제 예측 성능이 저하됩니다. 그러면 2주 간격의 요일별 평균 매..

머신러닝모델의 예측오류를 구성하는 세 가지 요소이 공식은 머신 러닝 모델의 예측 오류를 구성하는 세 가지 주요 요소를 설명하는 데 사용됩니다. 이를 이해하는 것은 모델의 성능을 최적화하고 과적합(overfitting)과 과소적합(underfitting)을 방지하는 데 중요한 개념입니다.1. 노이즈(Noise)정의: 노이즈는 데이터 자체의 불확실성이나 무작위성을 나타냅니다. 이는 측정 오류, 데이터 수집 과정의 변동성 등과 같은 요인으로 인해 발생합니다.특징: 노이즈는 모델이 설명할 수 없는 부분이므로, 노이즈를 줄이는 것은 모델링 과정에서 불가능합니다.2. 분산(Variance)정의: 추정 값(Algorithm Output)의 평균과 추정 값 (Algorithm Output) 들 간의 차이. 분산은 학습..

라쏘(Lasso)와 리지(Ridge)는 회귀 분석에서 자주 사용되는 두 가지 규제(regularization) 기법입니다만 다른 머신러닝모델에서도 활용될 수 있습니다. 이들은 모델의 복잡도를 조절하여 과적합(overfitting)을 방지하고, 예측 성능을 향상시키는 데 도움을 줍니다. 간단히 설명하면 다음과 같습니다.라쏘 회귀란 무엇인가요?라쏘 회귀는 데이터 분석에서 예측 모델을 만드는 방법 중 하나입니다. 특히, 데이터에 많은 특성(변수)이 있을 때 중요한 특성만을 선택해 주는 방법입니다.라쏘 회귀의 기본 개념Least Absolute Shrinkage and Selection Operator (Lasso):이름의 의미: '최소 절대 축소 및 선택 연산자'라는 뜻입니다.목표: 중요한 특성만 남기고 불필..