word embedding
-
Word Embedding 01 (One-hot Encoding / Word2Vec ) 정리AI/NLP 2021. 12. 31. 19:54
[논문 목록] 1. Word2Vec : Efficient Estimation of Word Representations in Vector Space (https://arxiv.org/abs/1301.3781) 들어가기 앞서 컴퓨터는 텍스트 그 자체보다는 숫자를 더 잘 처리합니다 따라서, 자연어 처리에서는 텍스트를 숫자로 바꾸는 여러 기법을 사용합니다. 가장 기본적인 방법으로 원 핫 인코딩이 있습니다. 원 핫 인코딩은 표현하고자 하는 단어를 1로, 그렇지 않은 단어들은 0으로 표현하며 한 단어를 의미하는 벡터의 차원은 단어 집합의 크기가 됩니다. 각 단어는 하나의 고유한 원 핫 벡터로 표현됩니다. 하지만 원 핫 인코딩에는 각 단어 벡터 간의 관계, 즉 의미상의 유사성을 표현할 수 없다는 한계가 있습니다. ..
-
Word Embedding 02 ( Glove / FastText ) 정리AI/NLP 2021. 12. 31. 17:12
[논문 제목] 1. GloVe : global vectors for word representation (https://nlp.stanford.edu/pubs/glove.pdf) 2. FastText : Enriching Word Vectors with Subword Information (https://arxiv.org/abs/1607.04606) 들어가기 앞서 https://asidefine.tistory.com/152 Word Embedding 01 (One-hot Encoding / Word2Vec ) 정리 [논문 목록] 1. Word2Vec : Efficient Estimation of Word Representations in Vector Space (https://arxiv.org/abs/1..