ML&DL73 [Recommender System] Derivation of optimization process of ALS 이전 포스팅에서 time complexity을 개선한 행렬 분해에 대해서 알아보았다. https://steady-programming.tistory.com/57 [Recommender System / Paper review] #19 Fast Matrix Factorization for Online Recommendation with Implicit Feedback 논문 링크(967회 인용) Summary 기존의 방법과는 다르게, 본 논문에서 제안하고자 하는 mf는 implicit feedback을 이용하되 관측되지 않은 feedback은 서로 다른 weight을 준다. 이는 item popularity을 반영한 weigh steady-programming.tistory.com 이 논문은 implicit .. 2023. 5. 18. [Recommender System / Paper review] #29 Variational Autoencoders for Collaborative Filtering 논문 링크(873회 인용) Summary vae 모형을 cf 알고리즘에 적용한다. 유저와 아이템간의 interaction을 관측된 데이터로 보고 여기에 내재하는 multinomial 분포를 추정하고자 한다. latent variable을 샘플링하고 확률의 의미를 가지도록 1로 정규화한다. 이를 multinomial 분포의 파라미터로 사용하여 유저가 아이템과 interaction하는 여부를 샘플링한다. 즉, 유저와 아이템간의 interaction 관계를 generative model로 가정하는 것이다. 파라미터 추론은 vae 논문에서 나온 reparametrization trick을 사용한다. 이를 통해 elbo에 대한 gradient estimator을 구하고 파라미터 최적화를 진행한다. Motivat.. 2023. 5. 6. [DL / Paper review] Auto-Encoding Variational Bayes 논문 링크(26527회 인용) Summary probabilistic model에서 variational inference은 종종 사용되는데 closed form으로 업데이트를 하는 것이 아닌, elbow에 대한 gradient을 구해서 파라미터를 업데이트 하는 방법을 제시한다. niave monte carlo gradient estimator을 유도하고 이는 variance가 큼을 지적하며 reparameterization 기술을 통해 gradient estimator을 유도한다. 이는 objective function이 어떠한 형태이든, 적절한 reparameterization을 사용하여 미분 가능한 식으로 바꿔두면 어떠한 elbow에 대해서도 gradient을 구할 수 있기 때문에 꽤나 일반적이고 .. 2023. 5. 6. [Recommender System / Paper review] #28 Factorization Meets the Item Embedding: Regularizing Matrix Factorization with Item Co-occurrence 논문 링크(283회 인용) Summary mf 목적식에 item co-occurrence 목적식을 더하여 아이템 벡터를 jointly 학습함으로써 아이템 벡터의 유저의 취향 뿐만 아니라 같이 출현하는 아이템의 관계도 함께 녹여낸다. 아이템 co-occurrence은 SPPMI 행렬로 표현하며 이 행렬을 분해함으로써 쌍으로 등장하는 관계가 담겨있는 아이템 벡터를 생성한다. Levy는 skipgram으로 학습한 word2vec과 pointwise mutual information 행렬을 분해한 것과의 관계를 밝혔는데, 이 맥락에서 SSPMI 행렬이 아이템 간의 co-occurrence와 관련이 있는 것이다. 최적화는 유도된 gradient을 사용하여 sgd을 통해 진행한다. 이는 ALS과 비슷한 형태이다. .. 2023. 5. 4. [Recommender System / Paper review] #27 Recurrent Recommender Networks 논문 링크(663회 인용) Summary cf에 temporal dynamics을 lstm으로 섞은 알고리즘을 제안한다. 유저와 아이템에 대한 sequential state을 가정하고 이를 통해 과거의 유저와 아이템의 상태가 현재 평점에 영향을 주도록 모델을 설계한다. 뿐만 아니라 stationary effect도 여전히 존재한다고 가정한다. 시간에 따라 변화하는 요인도 평점에 영향을 주지만 유저나 아이템이 가지고 있는 정적인 특징도 평점에 영향을 준다고 가정하는 것이다. 이 논문에서 강조하는 것은 현재 관측치를 기반으로 future bahavior을 예측할 수 있다는 것이다. 이는 timeSVD++가 가지고 있지 않은 기능이다. Motivation 기존에 제안되었던 probabilistic mf나 .. 2023. 5. 4. [Recommender System / Paper review] #26 Collaborative Metric Learning 논문 링크(472회 인용) Summary metric learning의 개념을 collaborative filtering에 적용하여 유저의 선호뿐만 아니라 유저간, 아이템간의 관계를 학습하는 collaborative metric learning (CML)을 제안한다. CML의 metric learning은 knn의 아이디어를 차용한다. 이는 각 object의 가장 가까운 k개의 이웃이 서로 같은 class label이면 된다는 것이다. target neighbors의 반경 아래에 다른 라벨을 가지는 데이터 (imposter)가 접근하지 못하도록 학습을 진행한다. 또한 학습 시에 하위 랭킹에 있는 결과에 penalty을 더 주는 방법과 item features을 통합하여 hybrid-rs로 접근하는 방법도.. 2023. 4. 26. 이전 1 ··· 3 4 5 6 7 8 9 ··· 13 다음
