ML&DL/Recommender System46 [Recommender System / Paper review] #28 Factorization Meets the Item Embedding: Regularizing Matrix Factorization with Item Co-occurrence 논문 링크(283회 인용) Summary mf 목적식에 item co-occurrence 목적식을 더하여 아이템 벡터를 jointly 학습함으로써 아이템 벡터의 유저의 취향 뿐만 아니라 같이 출현하는 아이템의 관계도 함께 녹여낸다. 아이템 co-occurrence은 SPPMI 행렬로 표현하며 이 행렬을 분해함으로써 쌍으로 등장하는 관계가 담겨있는 아이템 벡터를 생성한다. Levy는 skipgram으로 학습한 word2vec과 pointwise mutual information 행렬을 분해한 것과의 관계를 밝혔는데, 이 맥락에서 SSPMI 행렬이 아이템 간의 co-occurrence와 관련이 있는 것이다. 최적화는 유도된 gradient을 사용하여 sgd을 통해 진행한다. 이는 ALS과 비슷한 형태이다. .. 2023. 5. 4. [Recommender System / Paper review] #27 Recurrent Recommender Networks 논문 링크(663회 인용) Summary cf에 temporal dynamics을 lstm으로 섞은 알고리즘을 제안한다. 유저와 아이템에 대한 sequential state을 가정하고 이를 통해 과거의 유저와 아이템의 상태가 현재 평점에 영향을 주도록 모델을 설계한다. 뿐만 아니라 stationary effect도 여전히 존재한다고 가정한다. 시간에 따라 변화하는 요인도 평점에 영향을 주지만 유저나 아이템이 가지고 있는 정적인 특징도 평점에 영향을 준다고 가정하는 것이다. 이 논문에서 강조하는 것은 현재 관측치를 기반으로 future bahavior을 예측할 수 있다는 것이다. 이는 timeSVD++가 가지고 있지 않은 기능이다. Motivation 기존에 제안되었던 probabilistic mf나 .. 2023. 5. 4. [Recommender System / Paper review] #26 Collaborative Metric Learning 논문 링크(472회 인용) Summary metric learning의 개념을 collaborative filtering에 적용하여 유저의 선호뿐만 아니라 유저간, 아이템간의 관계를 학습하는 collaborative metric learning (CML)을 제안한다. CML의 metric learning은 knn의 아이디어를 차용한다. 이는 각 object의 가장 가까운 k개의 이웃이 서로 같은 class label이면 된다는 것이다. target neighbors의 반경 아래에 다른 라벨을 가지는 데이터 (imposter)가 접근하지 못하도록 학습을 진행한다. 또한 학습 시에 하위 랭킹에 있는 결과에 penalty을 더 주는 방법과 item features을 통합하여 hybrid-rs로 접근하는 방법도.. 2023. 4. 26. [Recommender System / Paper review] #25 AutoRec: Autoencoders Meet Collaborative Filtering 논문 링크(1137회 인용) Summary 유저x아이템 행렬은 보통 부분적으로 관측된다. 본 논문은 autoencoder을 통해 부분적으로 관측된 데이터를 저차원으로 projection하고 이를 다시 reconstruct하는 network을 학습함으로써 관측되지 않은 데이터를 복원하고자 한다. 유저x아이템 행렬에서 유저 벡터를 복원할 수도 있고 아이템 벡터를 복원할 수도 있다. 논문에서는 아이템를 autoencoder을 통해 복원하는 Item-based AutoRec을 제안한다. I-AutoRec은 encoder와 decoder 모두 one hidden layer로 구성된 아주 간단한 neural network이다. 실험을 통해 RBM 기반 CF에 비해 더 우수한 성능을 보임을 입증한다. Motivati.. 2023. 4. 25. [Recommender System / Paper review] #24 DeepFM: A Factorization-Machine based Neural Network for CTR Prediction 논문 링크(1898회 인용) Summary 구글에서 발표한 wide & deep neural network 논문에서 linear 특성을 반영하는 wide 부분을 factorization machine으로 변경한 모형을 제시한다. 구글 논문은 단순히 변수에 weight을 줘서 합하는 형태였다면, deepfm은 fm에서 제안한 방법을 사용한다. 즉, higher order interaction을 latent vector의 내적을 통해 모형에 포함한다. 중요한 부분은 fm에서 사용하는 변수의 dense latent feature을 deep neural network에서 범주형 변수를 임베딩 벡터로 만드는 과정에서 사용한다는 점이다. 이를 통해 low & high interaction의 효과를 모두 모형에 포함.. 2023. 4. 25. [Recommender System / Paper review] #23 Wide & Deep Learning for Recommender Systems 논문 링크(2942회 인용) Summary linear model과 deep neural networks을 동시에 학습함으로써 memorization과 generalization의 장점을 합치고자 한다. linear model을 통해 wide한 특징을, deep neural networks을 통해 deep한 특징을 모형에 녹여해는 것이다. linear model과 dep neural networks의 임베딩 결과를 concatenate하여 동일한 layer에서 network을 학습시킨다. 구글 app store 데이터에서 좋은 성능을 보임을 확인했다. Motivation 추천 시스템에서 logistic regression과 같은 generalized linear model은 간단하고 해석 가능하기 때문에.. 2023. 4. 23. 이전 1 2 3 4 5 6 7 8 다음
