ML&DL/Recommender System46 [Recommender System / Paper review] #32 Denoising Self-Attentive Sequential Recommendation 논문 링크(14회 인용, Awarded as 2022 Recsys Best paper) Summary attention을 사용한 transformer-based 추천 모델의 단점은 noisy한 데이터가 많은 가운데, 모든 아이템에 대한 attention을 계산한다는 것이다. 이를 보완하기 위한 방법으로 sparse transformer 등의 방법이 제안됐는데, 본 논문에서는 zero masking learning을 제안하여 데이터로부터 어떤 아이템에 대한 attention을 계산하지 않을 것인지 학습하는 알고리즘을 제안한다. 이런 indicator variable을 도입하면 미분가능하지 않고 추정치의 분산이 매우 커지는 단점이 있는데, 이를 efficient gradient computation을 통해 .. 2023. 8. 30. [Recommender System / Paper review] #31 Denoising Implicit Feedback for Recommendation 논문 링크(89회 인용) Summary noisy implicit feedback을 효과적으로 모델링할 수 있는 방법을 제안한다. 학습 중 초기에, false positive의 loss의 영향이 크기 때문에 모델이 잘못된 방향으로 학습될 수 있다는 이전 연구 결과가 있었다. 본 논문은 dynamic threshold을 사용해서 implicit feedback이 1인 샘플에 대한 training loss을 효과적으로 통제하고자 한다. 학습 초기에 false positive의 training loss 값이 크기 때문에 loss을 truncate하거나 weight하여 그 효과를 줄인다. threshold에 따라서 false positive의 loss을 truncate해버리는 방법, weight에 따라 dyna.. 2023. 7. 9. [Recommender System / Code Implementation] Implicit feedback CF 구현하기 implicit feedback을 사용한 CF를 가장 잘 정리한 페이퍼를 파이썬으로 구현한 내용을 정리한다. 포스팅에서 모든 코드를 다루지는 않았는데, 완벽한 코드를 보고 싶다면 github repo을 참고하면 된다. 시작하기에 앞서, 아래 포스팅에서 implicit feedback CF에 대해 이론적으로 정리했으니 참고하면 좋을 것 같다. https://steady-programming.tistory.com/45 [Recommender System / Paper review] #07 Collaborative Filtering for Implicit Feedback Datasets 논문 링크(3690회 인용) Summary 사용자가 직접적으로 아이템에 대해 매기는 explicit feedback이 아닌.. 2023. 6. 6. [Recommender System / Paper review] #30 Neural Collaborative Filtering vs Matrix Factorization Revisited 논문 링크(274회 인용) Summary matrix factorization부터 시작된 추천시스템 연구는 dot product을 mlp layer로 바꾸는 방향으로 진행되었다. 기본 아이디어는 다소 간단한 연산인 dot product에 비해서 non-linear 관계를 모델링할 수 있는 mlp layer가 나은 선택지가 될 수 있다는 것이다. 본 논문에서는 dot product 대신, mlp layer을 사용했을 때 발생하는 여러 문제에 대해 논의한다. 이는 서비스에 추천 시스템을 적용하고자할 때 발생하는 실용적인 문제를 포함한다. 게다가 하이퍼파라미터 튜닝만 적절히 한다면 neural mf에 준하는 성능을 mf에서도 얻을 수 있음을 실험을 통해 보여준다. 이를 통해 추천 시스템 문제에서 mf가 효과적.. 2023. 5. 24. [Recommender System] Derivation of optimization process of ALS 이전 포스팅에서 time complexity을 개선한 행렬 분해에 대해서 알아보았다. https://steady-programming.tistory.com/57 [Recommender System / Paper review] #19 Fast Matrix Factorization for Online Recommendation with Implicit Feedback 논문 링크(967회 인용) Summary 기존의 방법과는 다르게, 본 논문에서 제안하고자 하는 mf는 implicit feedback을 이용하되 관측되지 않은 feedback은 서로 다른 weight을 준다. 이는 item popularity을 반영한 weigh steady-programming.tistory.com 이 논문은 implicit .. 2023. 5. 18. [Recommender System / Paper review] #29 Variational Autoencoders for Collaborative Filtering 논문 링크(873회 인용) Summary vae 모형을 cf 알고리즘에 적용한다. 유저와 아이템간의 interaction을 관측된 데이터로 보고 여기에 내재하는 multinomial 분포를 추정하고자 한다. latent variable을 샘플링하고 확률의 의미를 가지도록 1로 정규화한다. 이를 multinomial 분포의 파라미터로 사용하여 유저가 아이템과 interaction하는 여부를 샘플링한다. 즉, 유저와 아이템간의 interaction 관계를 generative model로 가정하는 것이다. 파라미터 추론은 vae 논문에서 나온 reparametrization trick을 사용한다. 이를 통해 elbo에 대한 gradient estimator을 구하고 파라미터 최적화를 진행한다. Motivat.. 2023. 5. 6. 이전 1 2 3 4 5 6 ··· 8 다음
