분류 전체보기101 [Paper review][Inference Optimization] Efficient Memory Management for Large Language Model Serving with PagedAttention 논문 링크 Summary 본 논문은 operating system에서 쓰이는 대표적인 개념인 paging, virtual memory을 이용한 paged attention을 제안하고 이를 통해 LLM inference의 성능을 향상시키고자 한다. LLM은 기본적으로 transformer의 구조이고 transformer은 self-attention 연산으로 구성된다. autoregressive 구조를 가지는 LLM은 이러한 self-attention에서 비효율적인 메모리 관리 때문에 추론 성능이 떨어질 수 있다. paged attention은 이 병목현상을 해결하고자 개발되었다. 기본적인 아이디어는 self attention에서 사용되는 key, value matrix을 block 형태로 non-conti.. 2023. 9. 23. [Recommender System / Paper review] #35 Text Is All You Need: Learning Language Representations for Sequential Recommendation 논문 링크(7회 인용, 2023 KDD) Summary 본 논문에서는 language model을 sequential modeling에 사용함으로써 cold-start 문제를 해결하고 transfer-learning을 추천 시스템 분야에 도입하고자 Recformer을 제안한다. 기존의 sequential model과 달리 item-id을 임베딩 벡터로 만들지 않고 다른 네 종류의 임베딩 벡터를 사용한다: token embedding, token position embedding, token type embedding, item position embedding 이때, token embedding은 아이템에 대한 정보를 key,value로 묶어서 flatten한 vector로 사용하여 한 유저의 item .. 2023. 9. 23. [Recommender System / Paper review] #34 Reciprocal Sequential Recommendation 논문 링크(0회 인용, 2023 RecSys) Summary reciprocal recommender system (RRS)은 양방향의 선호를 고려하는 매칭 기법으로, 데이팅 앱이나 구인구직 사이트에서 쓰이는 알고리즘이다. 본 논문에서는 distinctive sequence matching task을 해결하기 위해 Reciprocal Sequential recommendation을 제안한다. 먼저 유저의 dual-perspective embeddings에 기반하여 bilateral behavior sequence을 transformer network을 통해 모델링한다. 다음으로 macro, micro 레벨에서 sequential interactions을 포착하기 위해 multi-scale matching.. 2023. 8. 30. [Recommender System / Paper review] #33 Progressive Layered Extraction (PLE): A Novel Multi-TaskLearning (MTL) Model for Personalized Recommendations 논문 링크(220회 인용, Awarded as 2020 Recsys Best paper) Summary multi-task learning(MTL)은 추천시스템 분야에서 성공적으로 적용됐지만 여러 task간에 복잡한 correlation을 가지는 경우에 negative transfer 현상이 발생하는 단점이 있다. negative transfer 현상이란, task a의 성능을 높이기 위해 task b의 성능을 희생해야하는 경우이다. 본 논문에서는 이러한 trade-off 현상을 seesaw 현상이라 칭하고 이를 해결하기 위한 방법으로 progressive layered extraction (PLE)을 제시한다. PLE란, shared components와 task-specific components을 .. 2023. 8. 30. [Recommender System / Paper review] #32 Denoising Self-Attentive Sequential Recommendation 논문 링크(14회 인용, Awarded as 2022 Recsys Best paper) Summary attention을 사용한 transformer-based 추천 모델의 단점은 noisy한 데이터가 많은 가운데, 모든 아이템에 대한 attention을 계산한다는 것이다. 이를 보완하기 위한 방법으로 sparse transformer 등의 방법이 제안됐는데, 본 논문에서는 zero masking learning을 제안하여 데이터로부터 어떤 아이템에 대한 attention을 계산하지 않을 것인지 학습하는 알고리즘을 제안한다. 이런 indicator variable을 도입하면 미분가능하지 않고 추정치의 분산이 매우 커지는 단점이 있는데, 이를 efficient gradient computation을 통해 .. 2023. 8. 30. [Recommender System / Paper review] #31 Denoising Implicit Feedback for Recommendation 논문 링크(89회 인용) Summary noisy implicit feedback을 효과적으로 모델링할 수 있는 방법을 제안한다. 학습 중 초기에, false positive의 loss의 영향이 크기 때문에 모델이 잘못된 방향으로 학습될 수 있다는 이전 연구 결과가 있었다. 본 논문은 dynamic threshold을 사용해서 implicit feedback이 1인 샘플에 대한 training loss을 효과적으로 통제하고자 한다. 학습 초기에 false positive의 training loss 값이 크기 때문에 loss을 truncate하거나 weight하여 그 효과를 줄인다. threshold에 따라서 false positive의 loss을 truncate해버리는 방법, weight에 따라 dyna.. 2023. 7. 9. 이전 1 2 3 4 5 6 7 8 ··· 17 다음
