ML&DL73 [DL] Why multiple layer perceptron? 서울대학교 딥러닝 기초 강의를 듣고 정리하였다. 딥러닝은 입력과 출력간의 복잡한 관계를 비선형 함수로 근사하는 알고리즘이다. 이때 기본적으로 MLP라는 구조를 사용한다. 자세히 살펴보면.. perceptron이라는 것을 여러개의 층(multiple layer)으로 쌓는 방법이다. 이번 포스팅에서는 MLP라는 것이 무엇이며 딥러닝에서는 왜 MLP을 사용하는지 정리해보려고 한다. (틀린 내용이 있으면 언제든지 지적 환영!!!) 딥러닝이 충실해야하는 것 딥러닝은 입력과 출력간의 복잡한 관계를 주어진 데이터를 통해 학습한다. 학습한 내용을 바탕으로 미래에 데이터가 주어졌을 때 예상되는 출력을 뱉어낸다. 그런데 데이터가 주어졌을 때 딥러닝이 하는 연산을 사람이 직접할 수 없고 컴퓨터가하는데 따라서 딥러닝은 기본.. 2023. 4. 25. [Recommender System / Paper review] #25 AutoRec: Autoencoders Meet Collaborative Filtering 논문 링크(1137회 인용) Summary 유저x아이템 행렬은 보통 부분적으로 관측된다. 본 논문은 autoencoder을 통해 부분적으로 관측된 데이터를 저차원으로 projection하고 이를 다시 reconstruct하는 network을 학습함으로써 관측되지 않은 데이터를 복원하고자 한다. 유저x아이템 행렬에서 유저 벡터를 복원할 수도 있고 아이템 벡터를 복원할 수도 있다. 논문에서는 아이템를 autoencoder을 통해 복원하는 Item-based AutoRec을 제안한다. I-AutoRec은 encoder와 decoder 모두 one hidden layer로 구성된 아주 간단한 neural network이다. 실험을 통해 RBM 기반 CF에 비해 더 우수한 성능을 보임을 입증한다. Motivati.. 2023. 4. 25. [Recommender System / Paper review] #24 DeepFM: A Factorization-Machine based Neural Network for CTR Prediction 논문 링크(1898회 인용) Summary 구글에서 발표한 wide & deep neural network 논문에서 linear 특성을 반영하는 wide 부분을 factorization machine으로 변경한 모형을 제시한다. 구글 논문은 단순히 변수에 weight을 줘서 합하는 형태였다면, deepfm은 fm에서 제안한 방법을 사용한다. 즉, higher order interaction을 latent vector의 내적을 통해 모형에 포함한다. 중요한 부분은 fm에서 사용하는 변수의 dense latent feature을 deep neural network에서 범주형 변수를 임베딩 벡터로 만드는 과정에서 사용한다는 점이다. 이를 통해 low & high interaction의 효과를 모두 모형에 포함.. 2023. 4. 25. [Recommender System / Paper review] #23 Wide & Deep Learning for Recommender Systems 논문 링크(2942회 인용) Summary linear model과 deep neural networks을 동시에 학습함으로써 memorization과 generalization의 장점을 합치고자 한다. linear model을 통해 wide한 특징을, deep neural networks을 통해 deep한 특징을 모형에 녹여해는 것이다. linear model과 dep neural networks의 임베딩 결과를 concatenate하여 동일한 layer에서 network을 학습시킨다. 구글 app store 데이터에서 좋은 성능을 보임을 확인했다. Motivation 추천 시스템에서 logistic regression과 같은 generalized linear model은 간단하고 해석 가능하기 때문에.. 2023. 4. 23. [Recommender System / Paper review] #22 Factorization Machines 논문 링크(2689회 인용) Summary SVM의 장점과 matrix factorization의 장점을 모아둔 factorization machines을 제안한다. 개별적인 변수의 latent vector뿐만 아니라 변수간의 interaction에 존재하는 latent vector도 추정한다. 일반적인 데이터 형태 모두를 입력값으로 넣을 수 있으며 파라미터 최적화 방법도 동일하게 gradient descent을 사용하면 된다. 모델 파라미터가 데이터 수에 linear하게 최적화되기 때문에 scalability을 확보한다. Motivation fm은 svm의 장점을 살리면서 단점을 보완하고자 개발된 알고리즘이다. fm은 모든 변수들간에 interaction effect을 latent vector로 추정한.. 2023. 4. 21. [Recommender System / Paper review] #21 Deep Neural Networks for YouTube Recommendations 논문 링크(2695회 인용) Summary 유튜브 추천 알고리즘에 관한 논문으로, 2010년과 달리 neural network을 사용했다는 것이 달라진 점이다. candidate generation, ranking에서 neural network을 사용한다. 주목할만한 점은, 다양한 feature을 neural network의 input으로 넣는다는 점이다. 유저의 비디오 시청 시간, 횟수, 인구학적 정보 등의 feature가 concatenate 된다. 이러한 feature은 모델의 추천 성능을 향상시킴을 경험적으로 증명했다. Motivation 유튜브의 영상 추천 알고리즘은 아래 세가지 문제를 해결하고자 한다. scale: 유튜브의 데이터는 크기가 매우 크기 때문에, 이런 대용량 데이터에 맞게 추천 .. 2023. 4. 20. 이전 1 ··· 4 5 6 7 8 9 10 ··· 13 다음
