TechY

NLP Task 를 해결하기 위해서는 자연어를 벡터로 어떻게 표현하는 것이 굉장히 중요하고, 이에 따라 임베딩 기술이 빠르게 발전해왔다. Word2Vec과 같이 단어에 벡터를 매핑시켜주는 것부터 시작해서 현재는 contextualized embedding와 같이 문맥을 알고 있는 문장 레벨의 임베딩 방법론들이 많이 나왔다. 최근의 임베딩 기법들은 일반화된 성능과 common sense 를 갖추기 위해 common corpus 에 학습을 하곤 하는데, 의학 분야와 같이 domain-specific corpus의 성격이 짙은 분야에서는 임베딩을 도메인에 적합하게 fine-tuning 해주는 과정이 필요하다. 이를 domain-adaptation이라고 하는데, 해당 방법에 대해 이미 많이 알려진 아키텍쳐로 간..

논문 이름은 "Training Temporal Word Embeddings with a Compass" 이다. 시간에 따라 변화하는 단어의 의미들을 식별하는 Temporal word embedding 을 위한 모델이다. 이름은 줄여서 "TWEM" (Temporal Word Embedding Model) 이다. 코드는 저자의 깃헙을 참고하면 된다. 모델의 로직은 매우 간단하다. 해당 모델은 우선 인풋과 아웃풋을 context와 center로 하는 CBOW와 그 반대인 skip-gram을 기반으로 한다. 즉, TWEM의 인풋 중 하나가 pre-trained word2vec 모델이다. Word2Vec 모델에는 CBOW 기준 context vector들을 encode하는 weight parameter (위의 이..

Active Learning은 라벨이 없는 데이터에서 개별 인스턴스의 정보량을 파악해, 이에 따른 개별 인스턴스를 쿼리하는 방식입니다. 이러한 선별적 쿼리 과정을 통해 레이블링을 최소화하고 효율적인 학습을 이끌어내는 것에 의미가 있는 학습 방법입니다. 해당 방법론은 적은 라벨 데이터로도 지도 학습의 성능까지 충분히 끌어올릴 수 있다는 점에서 각광받았지만, 현실적으로 개별 데이터에 대한 라벨을 사람이 주석을 하나씩 단다는 것은 시간적으로 매우 비효율적이라는 점에서 문제가 있습니다. 이에 따라서, 배치 방식으로 쿼리를 보내는 방법론인 batch-mode active learning 이 제안이 되었습니다. batch-mode active learning 의 방법론 중 2019년에 나온 Amazon Resear..

본 포스팅은 해당 블로그 를 참조하고 나름대로 번역하여 만들어졌습니다. RNN 기반의 sequence model 의 코드를 보다보면, torch.nn.utils.clip_grad_norm_(model.parameters(), clip) 와 같은 코드 라인을 만나게 됩니다. 과연 어떤 것을 위한 것이고 어떻게 작용하는 것일까요? RNN(recurrent neural net)을 공부하다보면, 자연스레 long term dependency를 해결하기 위해 LSTM , GRU 를 공부하게 되는데, 이유는 vanishing gradient로 인해서, 멀리 떨어져있는 단어들 간의 관계성을 잃어간다는 것에 있었습니다. 그 이유는, RNN의 특성 상, 계속 recurrent 해갔기 때문인데, 여기서 recurrent ..

Active Learning을 위해서 한 번은 거치고 가야할 논문, Burr Settles 교수가 쓴 2010 년의 Survey “Active Learning Literature Survey” 에 대해 이야기해보도록 하겠습니다. 본 포스팅에서 나오는 캡쳐 이미지는 모두 해당 논문에 기인한 것입니다. 절차는 다음과 같습니다. Active Learning 이 무엇인가? Scenarios – Learner 와 Oracle의 관계 프로세스를 정의하는 방법론 Query Strategy Frameworks – Instance를 query 하는 방법론 절차에 대한 세부 설명에서 익숙치 않은 용어들이 등장하였습니다. 해당 용어들은 Survey 에 자주 나오는 단어들로 이에 대한 정의를 미리 해보도록 하겠습니다. - L..