deep learning1 [DL] Batch / Stochastic / Mini batch Gradient Descent 서울대학교 딥러닝 기초 강의를 듣고 정리한 내용이다. 여러 gradient descent 방법에 대해 알아보자. 먼저 gradient descent 방법이란 무엇일까? 위키피디아에 의하면 아래와 같다. In mathematics, gradient descent (also often called steepest descent) is a first-order iterative optimization algorithm for finding a local minimum of a differentiable function. 1) 미분 가능한 함수에서 local minimum을 찾기 위해 2) 1차 미분 값을 사용하는 최적화 방법이다. 딥러닝에서 미분 가능한 함수는 cost function이고 이는 파라미터의 함수.. 2023. 3. 19. 이전 1 다음
