AI/NLP
-
RoBERTa: A Robustly Optimized BERT Pretraining Approach 정리AI/NLP 2022. 2. 4. 16:57
RoBERTa: A Robustly Optimized BERT Pretraining Approach 정리 들어가기 전에.... https://asidefine.tistory.com/181 GPT-1 / BERT / GPT-2 간단 정리 GPT-1 / BERT / GPT-2 간단 정리 [논문 목록] GPT-1 : Improving Language Understanding by Generative Pre-Training (2018) BERT : Pre-training of Deep Bidirectional Transformers for Language Unders.. asidefine.tistory.com https://asidefine.tistory.com/179 NLP task 정리 (GLUE / SQu..
-
Word Embedding 3 : Deep Contextualized Word Representations (ELMo) 정리AI/NLP 2022. 1. 17. 16:40
Deep Contextualized Word Representations (ELMo) 정리 들어가기 전 ... Word Embedding https://asidefine.tistory.com/152 Word Embedding 01 (One-hot Encoding / Word2Vec ) 정리 [논문 목록] 1. Word2Vec : Efficient Estimation of Word Representations in Vector Space (https://arxiv.org/abs/1301.3781) 들어가기 앞서 컴퓨터는 텍스트 그 자체보다는 숫자를 더 잘 처리합니다 따라서,.. asidefine.tistory.com https://asidefine.tistory.com/154 Word Embedding 0..
-
Word Embedding 01 (One-hot Encoding / Word2Vec ) 정리AI/NLP 2021. 12. 31. 19:54
[논문 목록] 1. Word2Vec : Efficient Estimation of Word Representations in Vector Space (https://arxiv.org/abs/1301.3781) 들어가기 앞서 컴퓨터는 텍스트 그 자체보다는 숫자를 더 잘 처리합니다 따라서, 자연어 처리에서는 텍스트를 숫자로 바꾸는 여러 기법을 사용합니다. 가장 기본적인 방법으로 원 핫 인코딩이 있습니다. 원 핫 인코딩은 표현하고자 하는 단어를 1로, 그렇지 않은 단어들은 0으로 표현하며 한 단어를 의미하는 벡터의 차원은 단어 집합의 크기가 됩니다. 각 단어는 하나의 고유한 원 핫 벡터로 표현됩니다. 하지만 원 핫 인코딩에는 각 단어 벡터 간의 관계, 즉 의미상의 유사성을 표현할 수 없다는 한계가 있습니다. ..
-
Word Embedding 02 ( Glove / FastText ) 정리AI/NLP 2021. 12. 31. 17:12
[논문 제목] 1. GloVe : global vectors for word representation (https://nlp.stanford.edu/pubs/glove.pdf) 2. FastText : Enriching Word Vectors with Subword Information (https://arxiv.org/abs/1607.04606) 들어가기 앞서 https://asidefine.tistory.com/152 Word Embedding 01 (One-hot Encoding / Word2Vec ) 정리 [논문 목록] 1. Word2Vec : Efficient Estimation of Word Representations in Vector Space (https://arxiv.org/abs/1..
-
Seq2Seq & Attention & Transformer 정리AI/NLP 2021. 12. 31. 14:37
[논문 목록] 1. Seq2Seq : Sequence to Sequence Learning with Neural Networks (https://arxiv.org/abs/1409.3215) 2. Attention : Neural Machine Translation by Jointly Learning to Align and Translate (https://arxiv.org/abs/1409.0473) 3. Transformer : Attention is All You Need (https://arxiv.org/abs/1706.03762) Seq2Seq RNN 계열의 모델로, Encoder과 Decoder로 구성되어 있음 1) Encoder: 입력된 단어의 연속열(= Source sentence)을 고정된 ..