Ensemble > Boosting: Gradient Boosting Machine(GBM), XGBoost, LightGBM, CatBoost, NGBoost

Gradient Boosting Machine (GBM), XGBoost, LightGBM, CatBoost, NGBoost는 모두 Gradient Boosting 알고리즘에 기반한 앙상블 학습 방법입니다. 이들 알고리즘은 각각 고유한 최적화 및 특성을 가지고 있어 다양한 데이터와 문제 유형에 대해 탁월한 성능을 발휘합니다. 각 알고리즘의 원리와 특징을 자세히 설명하겠습니다.1. Gradient Boosting Machine (GBM)원리GBM은 여러 개의 약한 학습기(주로 결정 트리)를 순차적으로 학습시켜 강한 학습기를 만드는 방법입니다. 각 단계에서 새로운 약한 학습기는 이전 모델의 잔차(residual)를 예측하여 모델의 성능을 향상시킵니다. 모델의 예측은 모든 약한 학습기의 예측을 합산하여 이루어..
ML 2024. 5. 30. 15:48
1