분류 전체보기101 [Recommender System / Paper Review] #36 Modeling Delayed Feedback in Display Advertising 논문 링크(199회 인용)Summarydisplay 광고에서 conversion은 click을 하고 오랜 시간 이후 발생하는 경우(delayed feedback)가 종종 있는데, 이는 training 데이터 수집 기간에 실제로 이후에 conversion이 발생했음에도 아직 관측되지 않아서 negative sample로 잘못 레이블링되는 문제가 있다.기존의 연구들은 데이터를 positie / unlabeled으로 구분했다. unlabeled가 실제로 이후에도 negative인지 확신할 수 없기 때문이다.그런데 이 연구들은 positive 데이터가 positive class에서 random하게 선택된다고 가정한다. 즉, positive 데이터가 관측되지 않을 확률이 constant하다는 것인데, 실제로는.. 2024. 5. 28. [Prompt Engineering] Automatic Prompt Optimization with "Gradient Descent" and Beam Search Paper Review 지난 포스팅에서 프롬프트 엔지니어링, 그리고 이의 확장된 개념인 프롬프트 최적화에 대해서 살펴보았다. 아직 이 글을 읽지 않았다면, 원활한 이해를 위해 먼저 읽고 오는 것을 추천한다.https://steady-programming.tistory.com/83 [NLP][Prompt Engineering] What is Prompt OptimizationPrompt Engineering바야흐로 LLM의 시대이다. chatgpt를 시작으로 llama, mistral, mixtral, claude 등 다양한 llm이 쏟아져나오고 있는 가운데, 자연스럽게 프롬프트 엔지니어링 기술이 주목을 받고 있다.프롬프steady-programming.tistory.com한마디로 parameter space가 자연어이고 ob.. 2024. 5. 24. [NLP][Code Review] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding pytorch 코드 리뷰 논문 링크 (98939회 인용)Motivationpre-trained 언어 모델을 사용하는 것은 많은 nlp task에서 효과적이라고 밝혀졌다.downstream task에 대해 pre-trained 언어 모델을 사용하는 것은 크게 feature-based와 fine tuning 방법이 있다.feature-based 접근법 (ELMo)task 마다 다른 구조를 사용하고 pre-trained representations을 추가적인 피쳐로 사용한다.pre-trained 모델의 파라미터는 고정한다.ELMo와 같은 모델은 LSTM을 사용하긴 하지만 forward/backward output을 단순히 concat하는 것이기 때문에 shallowly bidirectional 하다고 할 수 있다.fine-tunin.. 2024. 5. 6. [NLP][Prompt Engineering] What is Prompt Optimization Prompt Engineering바야흐로 LLM의 시대이다. chatgpt를 시작으로 llama, mistral, mixtral, claude 등 다양한 llm이 쏟아져나오고 있는 가운데, 자연스럽게 프롬프트 엔지니어링 기술이 주목을 받고 있다.프롬프트란, 인간이 컴퓨터와 대화하는 언어이고 필자는 프롬프트 엔지니어링은 인간이 llm과 얼마나 잘 대화를 나눌 수 있는지에 대한 기술이라고 생각한다. 똑같은 llm이라도 사람마다 llm과 대화하는 수준의 차이가 있다. 사람들끼리의 대화는 소통의 꽉 막힘에서 끝나겠지만 llm과의 대화는 이를 얼마나 잘 하느냐에 따라서 llm으로부터 양질의 정보를 얻을 수도, 그렇지 않을 수도 있다. 실제로 프롬프트를 잘 작성하는 인력을 고연봉에 채용하겠다는 회사도 많이 있다... 2024. 5. 3. [NLP][Code Review] Attention is all you need pytorch 코드 리뷰 논문링크(NIPS, 113405회 인용) Paper motivation RNN은 sequential한 데이터를 처리하는데 있어서 시간의 순서에 따른 hidden state인 $h_{t}$을 $h_{t-1}, t$의 함수로 만든다. 즉, 현재의 $h_t$을 만들기 위해 이전 hidden state인 $h_{t-1}$이 있어야 하고 이러한 순차적이고 의존적인 특성이 병렬 학습을 하는데 큰 걸림돌이 된다. 앞 시점의 연산이 끝나지 않은 경우, 그 뒤의 연산을 수행할 수 없기 때문이다. transformer는 이러한 recurrence 구조를 버리고 오직 attention 구조만 사용하여 input과 output의 global dependency를 학습하고자 한다. 또한 recurrence 구조의 순차적인 특징.. 2024. 3. 30. [Paper review] Improving Diversity in Ranking using Absorbing Random Walks 논문 링크(320회 인용, 2007) Summary 본 논문에서 제안하는 GRASSHOPPER 알고리즘은 absorbing markov chain random walks의 아이디어를 사용하여 centrality / diversity / prior을 모델에 녹여낸다. 우선, 가장 상위 노드는 pagerank을 돌려서 나오는 최상위 점수의 노드로 정한다. 그리고 이 최상위 점수의 노드를 absorbing state로 만든다. 다음으로, 나머지 노드들간의 expected visits을 구하여, 가장 많은 expected visits을 가지는 노드를 두번째 노드로 구하고 다시 이 노드를 absorbing state로 만든다. absorbing state로 만듦으로써 해당 노드와 유사한 노드는 상대적으로 적은 .. 2024. 1. 16. 이전 1 2 3 4 5 6 7 ··· 17 다음
