최적화 알고리즘(Optimization Algorithms)

이 이미지에서는 다양한 최적화 알고리즘에 대해 설명하고 있습니다. 각 알고리즘은 기계 학습 모델의 손실 함수를 최소화하기 위해 사용되며, 서로 다른 방식으로 학습률과 스텝 크기를 조정합니다. 이를 이해하기 쉽게 하나씩 설명해드리겠습니다.1. GD (Gradient Descent)설명: 모든 데이터를 사용하여 손실 함수의 기울기를 계산하고, 그 방향으로 이동하여 최소값을 찾습니다.특징: 모든 데이터를 사용하기 때문에 계산 비용이 큽니다.예시:import numpy as np#X: 독립 변수(특성) 데이터. 여기서는 𝑚×𝑛 형태의 2차원 배열입니다.#y: 종속 변수(목표) 데이터. 길이가 𝑚인 1차원 배열입니다.#learning_rate: 학습률. 각 반복에서 계수를 얼마나 크게 업데이트할지를 결정합니..
ML 2024. 5. 28. 21:56
1