gradient descent2 [ML / DL] Stochastic Gradient Descent 식 유도하기 서울대학교 딥러닝 기초 강의를 듣고 정리하였다. 회귀 문제든, 분류 문제든, stochastic gradient descent의 일반적인 식을 공통적으로 도출할 수 있다. 이번 포스팅에서는 이 식을 유도해보면서 어떤 공통점을 찾을 수 있는지 알아본다. 통계학을 전공하다보면, 수리통계학 과목을 필수적으로 수강해야하고 여기에서 나오는 단골손님이 exponential family이다. 확률분포 $p(y | x ; \theta)$의 exponential family 형태는 아래와 같다. \[ p(y ; \eta) = b(y) exp(\eta^T T(y) - a(\eta)) \] $\eta$: natural parameter $T(y)$: sufficient statistics for $p(y | x ; \the.. 2023. 3. 19. [DL] Batch / Stochastic / Mini batch Gradient Descent 서울대학교 딥러닝 기초 강의를 듣고 정리한 내용이다. 여러 gradient descent 방법에 대해 알아보자. 먼저 gradient descent 방법이란 무엇일까? 위키피디아에 의하면 아래와 같다. In mathematics, gradient descent (also often called steepest descent) is a first-order iterative optimization algorithm for finding a local minimum of a differentiable function. 1) 미분 가능한 함수에서 local minimum을 찾기 위해 2) 1차 미분 값을 사용하는 최적화 방법이다. 딥러닝에서 미분 가능한 함수는 cost function이고 이는 파라미터의 함수.. 2023. 3. 19. 이전 1 다음
