ML&DL73 [Recommender System / Paper review] #02 Item-based collaborative filtering recommendation algorithms 논문 링크 (11700회 인용) Item-based collaborative filtering recommendation algorithms | Proceedings of the 10th international conference on World Wide We Overall Acceptance Rate 1,899 of 8,196 submissions, 23% dl.acm.org Summary 기존의 방식이 비슷한 유저를 먼저 탐색하고자 한다면, item-based CF는 아이템간의 관계를 먼저 탐색함으로써 bottleneck을 해결하고자 한다. 아이템간의 관계를 유사도 계산을 통해 파악하고, 이를 이용하여 target item에 대한 점수를 예측한다. 유사도 방법은 adjusted cosine simi.. 2023. 3. 30. [Recommender System / Paper Review] #01 Using collaborative filtering to weave an information tapestry 논문 링크 (6052회 인용) Summary tapestry는 어느 연구센터에서 개발한 이메일 시스템으로, 많은 양의 이메일 가운데 사용자가 관심있어할만한 이메일만 골라주는 기능을 가지고 있다. 본인 또는 다른 사람이 이메일에 표현한 관심을 기록하여 이메일을 필터링하는데, 이를 collaborative filtering이라고 한다. tapestry는 여타 다른 이메일 필터링 시스템과는 다른데, 이메일뿐만 아니라 뉴스기사 등 다른 것들도 필터링할 수 있는 툴이기 때문이다. Motivation 이메일의 사용이 증가하는 가운데 너무나 많은 양의 이메일 때문에 사용자가 압도당하는 경우가 많다. 관심있는 리스트만 구독한다고 하더라도, 그 리스트에서 발생하는 이메일 양도 엄청나다. 더 나은 방법은, 리스트 단위로 .. 2023. 3. 30. [DL] Backpropagation 서울대학교 딥러닝 기초 강의를 듣고 정리하였다. 아래와 같은 fully connected neural network에서 backpropagation이 어떻게 진행되는지 수식을 통해 살펴보자. notation을 정리해보자. $a_l$: $l$번째 layer에서 linear 연산을 적용한 값을 activation function에 넣은 neuron 값 $a_l = f(z_l)$ $a_1 = [a_{11} \; a_{12} \; a_{13} \; a_{14}]^T$ $a_2 = [a_{21} \; a_{22} \; a_{23}]^T$ $z_l$: $l$번째 layer에서 linear 연산을 적용한 값 $z_{l+1} = W_l a_l + b_l$ $z_1 = [z_{11} \; z_{12} \; z_{13} .. 2023. 3. 20. [ML / DL] Stochastic Gradient Descent 식 유도하기 서울대학교 딥러닝 기초 강의를 듣고 정리하였다. 회귀 문제든, 분류 문제든, stochastic gradient descent의 일반적인 식을 공통적으로 도출할 수 있다. 이번 포스팅에서는 이 식을 유도해보면서 어떤 공통점을 찾을 수 있는지 알아본다. 통계학을 전공하다보면, 수리통계학 과목을 필수적으로 수강해야하고 여기에서 나오는 단골손님이 exponential family이다. 확률분포 $p(y | x ; \theta)$의 exponential family 형태는 아래와 같다. \[ p(y ; \eta) = b(y) exp(\eta^T T(y) - a(\eta)) \] $\eta$: natural parameter $T(y)$: sufficient statistics for $p(y | x ; \the.. 2023. 3. 19. [ML / DL] Cost function과 Maximum likelihood estimation과의 관계 서울대학교 딥러닝 기초 강의를 듣고 정리하였다. 딥러닝에서 파라미터를 근사하기 위해 필수적으로 세워야하는 cost function와 통계학에서 파라미터를 추정하기 위해 필수적으로 세우는 maximum likelihood estimation과의 관계를 알아보자. 결론부터 말하면, cost function은 maximum likelihood estimation의 사촌 관계이다. 다르게 말하면 deep learning이 cost function을 최소화하는 것은, 결국 maximum likelihood을 최대화하는 것과 동일하고 따라서 cost function을 최소화함으로써 확률값이 최대가 되는 $\theta$을 찾는 것으로 해석할 수 있다. 머신러닝이든, 딥러닝이든, 지도학습에 한하여 문제는 회귀(regr.. 2023. 3. 19. [DL] Batch / Stochastic / Mini batch Gradient Descent 서울대학교 딥러닝 기초 강의를 듣고 정리한 내용이다. 여러 gradient descent 방법에 대해 알아보자. 먼저 gradient descent 방법이란 무엇일까? 위키피디아에 의하면 아래와 같다. In mathematics, gradient descent (also often called steepest descent) is a first-order iterative optimization algorithm for finding a local minimum of a differentiable function. 1) 미분 가능한 함수에서 local minimum을 찾기 위해 2) 1차 미분 값을 사용하는 최적화 방법이다. 딥러닝에서 미분 가능한 함수는 cost function이고 이는 파라미터의 함수.. 2023. 3. 19. 이전 1 ··· 8 9 10 11 12 13 다음
