경사 하강법은 기계 학습 및 최적화 문제에서 가장 중요한 알고리즘 중 하나입니다.
기울기 하강법은 함수의 기울기를 사용하여 함수의 최소값을 찾는 최적화 기술입니다.
경사 하강법에는 다음 단계가 있습니다.
- 시작점을 선택하십시오.
- 함수의 기울기를 계산합니다.
- 기울기가 감소하는 방향으로 이동합니다.
- 반복하다.
이는 새 위치에서 그래디언트를 다시 계산하고 이동하는 것을 의미합니다.
함수의 최소값에 가까워지도록 이것을 반복합니다.
이 알고리즘이 반복되면서 함수의 값이 점점 작아지므로 일정 횟수 반복하면 최적화된 값을 찾을 수 있습니다.
경사하강법의 비율은 학습률에 따라 다릅니다.
학습률이 너무 작으면 최적점에 도달하는 데 시간이 오래 걸리고 학습률이 너무 크면 최적점을 넘어 수렴에 실패할 수 있다.
'추천 관련글,
다양한 최적화 문제에 사용하고 적용할 수 있는 경사 하강법에는 여러 가지 변형이 있습니다.
예를 들어 확률적 경사하강법 반복에서 무작위로 선택된 데이터로 그래디언트 계산그것으로 최적화하는 방법. 이를 통해 대용량 데이터 세트에서도 효율적인 최적화가 가능합니다.
경사 하강 제한 사항
1. 비선형 회귀의 경우 local minimum에 빠지고 real minimum을 찾지 못할 수 있습니다.
따라서 SGD(Stochastic Gradient Descent)를 이용하면 어느 정도 해결할 수 있다.