목록[논문 정리] (22)
TechY
[논문 정리] A STRUCTURED SELF-ATTENTIVE SENTENCE EMBEDDING
Transformer 논문에 나오는 self-attention을 먼저 제시한 논문인 A Structured Self-Attentive Sentence Embedding 논문과 이러한 모델이 multi-head attention 을 적용하였을 때, generalized pooling 을 제시한 논문, Enhancing Sentence Embedding with Generalized Pooling 을 간략하게 정리해보려 한다. 부족한 경험이지만, 논문을 하나씩 읽으면서 느끼는 것은 기발하고 훌륭한 아이디어를 내는 논문들은 정말 간단한 로직이라는 것이다. 논문을 읽으면서, 기존의 연구에 간단한 레이어를 통해 또 다른 많은 질문들을 제시하는 논문이라는 생각이 들었다. (그 결과가 transformer 아닐까) ..
[논문 정리] Unsupervised Deep Embedding for Clustering Analysis
FAIR팀에서 2016년에 제안한 Unsupervised Deep Embedding for Clustering Analysis 논문을 간단하게 정리하려 한다. 해당 논문은 Input 데이터를 임베딩하고 클러스터링까지 함께 함으로써, 클러스터링에 적합한 임베딩을 학습한다는 것에 학습의 목표가 있다. 모델이 학습하는 과정을 하나씩 살펴보면 아래와 같다. 1) 인풋 데이터를 Stacked Auto Encoder 에 encoding 하면서 Latent Vector Space 로 차원 축소를 해준다. 2) encoding 된 latent vector 를 미리 정해둔 K개의 클러스터로 클러스터링해준다. 이 과정에서 centroid와 데이터 포인트 간 거리로 첫 번째 loss 가 도출된다. 3) 다시 latent v..
[논문 정리] A simple method for domain adaptation of sentence embeddings
NLP Task 를 해결하기 위해서는 자연어를 벡터로 어떻게 표현하는 것이 굉장히 중요하고, 이에 따라 임베딩 기술이 빠르게 발전해왔다. Word2Vec과 같이 단어에 벡터를 매핑시켜주는 것부터 시작해서 현재는 contextualized embedding와 같이 문맥을 알고 있는 문장 레벨의 임베딩 방법론들이 많이 나왔다. 최근의 임베딩 기법들은 일반화된 성능과 common sense 를 갖추기 위해 common corpus 에 학습을 하곤 하는데, 의학 분야와 같이 domain-specific corpus의 성격이 짙은 분야에서는 임베딩을 도메인에 적합하게 fine-tuning 해주는 과정이 필요하다. 이를 domain-adaptation이라고 하는데, 해당 방법에 대해 이미 많이 알려진 아키텍쳐로 간..
[논문 정리] Training Temporal Word Embeddings with a Compass
논문 이름은 "Training Temporal Word Embeddings with a Compass" 이다. 시간에 따라 변화하는 단어의 의미들을 식별하는 Temporal word embedding 을 위한 모델이다. 이름은 줄여서 "TWEM" (Temporal Word Embedding Model) 이다. 코드는 저자의 깃헙을 참고하면 된다. 모델의 로직은 매우 간단하다. 해당 모델은 우선 인풋과 아웃풋을 context와 center로 하는 CBOW와 그 반대인 skip-gram을 기반으로 한다. 즉, TWEM의 인풋 중 하나가 pre-trained word2vec 모델이다. Word2Vec 모델에는 CBOW 기준 context vector들을 encode하는 weight parameter (위의 이..
[논문 정리] Diverse mini-batch Active Learning
Active Learning은 라벨이 없는 데이터에서 개별 인스턴스의 정보량을 파악해, 이에 따른 개별 인스턴스를 쿼리하는 방식입니다. 이러한 선별적 쿼리 과정을 통해 레이블링을 최소화하고 효율적인 학습을 이끌어내는 것에 의미가 있는 학습 방법입니다. 해당 방법론은 적은 라벨 데이터로도 지도 학습의 성능까지 충분히 끌어올릴 수 있다는 점에서 각광받았지만, 현실적으로 개별 데이터에 대한 라벨을 사람이 주석을 하나씩 단다는 것은 시간적으로 매우 비효율적이라는 점에서 문제가 있습니다. 이에 따라서, 배치 방식으로 쿼리를 보내는 방법론인 batch-mode active learning 이 제안이 되었습니다. batch-mode active learning 의 방법론 중 2019년에 나온 Amazon Resear..
[논문 정리] Active Learning Literature Survey
Active Learning을 위해서 한 번은 거치고 가야할 논문, Burr Settles 교수가 쓴 2010 년의 Survey “Active Learning Literature Survey” 에 대해 이야기해보도록 하겠습니다. 본 포스팅에서 나오는 캡쳐 이미지는 모두 해당 논문에 기인한 것입니다. 절차는 다음과 같습니다. Active Learning 이 무엇인가? Scenarios – Learner 와 Oracle의 관계 프로세스를 정의하는 방법론 Query Strategy Frameworks – Instance를 query 하는 방법론 절차에 대한 세부 설명에서 익숙치 않은 용어들이 등장하였습니다. 해당 용어들은 Survey 에 자주 나오는 단어들로 이에 대한 정의를 미리 해보도록 하겠습니다. - L..