Backpropagation2 [DL][Implementation] Backpropagation in convolution 저번 포스팅에서는 numpy을 사용하여 mlp을 구현해보았다.https://steady-programming.tistory.com/88 [DL][Implementation] Numpy을 사용하여 MLP 구현하기backpropagation을 수식으로 공부하다가, pytorch로 쓱 하고 지나갈 개념이 아닌 것 같다는 생각이 들었다. 모든 딥러닝 문제에서는 gradient descent을 사용해서 optimal parameter을 찾고 그 과정에서 backpropagatsteady-programming.tistory.comlinear layer에서 weight, bias의 backpropagation을 직접 구현해보며 이해도를 높일 수 있었다. 이번 포스팅에서는 convolution neural networ.. 2024. 8. 31. [ML / DL] Backpropagation of loss function 지도학습의 머신러닝은 회귀 문제 / 분류 문제 중 하나에 속한다. 회귀 문제라면 최종 레이어에서 계산한 예측값 ($\hat{y}_i$)과 실제값 ($y_i$)와의 mean squared error $( L = \dfrac{1}{2} \sum (y_i - \hat{y}_i)^2 )$을 최소화하는 방향으로 학습이 진행된다. 분류 문제라면 최종 레이어에서 계산한 logit을 softmax 함수에 한번 넣고 ($\hat{y}_i = softmax(z_i)$), 이 확률값과 실제 라벨의 cross entropy $( L = \sum^C_{i=1} y_i \log \hat{y_i} )$을 최소화하는 방향으로 학습이 진행된다. 어느 경우가 됐든, backpropagation을 할 때, 최초로 예측값에 대한 loss.. 2024. 7. 28. 이전 1 다음
