세상은 내가 정하는 대로 세상은 내가 정하는 대로

[Story Generation Study Week 01 : Fundamental of Text Generation] GPT-3 : Language Models are Few-Shot Learners (2020) Review [Story Generation Study Week 01 : Fundamental of Text Generation] GPT-1: Improving Language Understanding by Generative Pre-Training (2018) GPT-2: Language Models are Unsupervised Multitask Learners (2019) GPT-3: Language Models are Few-Shot Learners (2020) 방학 중 내가 너무너무너무..

2023.12.27 업데이트  - ChatGPT도 등장한지 벌써 1년이나 되었습니다. GPT-3과 ChatGPT 이후로 NLP 분야에서도 흐름이 엄청 빠르게 바뀌었기 때문에 예전에 기록해두었던 논문 목록을 업데이트 하면 좋을 것 같다는 생각에 추가해두었습니다.- 'NLP 논문 공부 순서'로 블로그 유입이 많기도 하고, 여쭤보시는 분들도 있어서 저의 경우 NLP 공부를 어떻게 했었는지 (학부생 시절) 몇 자 적습니다. 궁금한 점 있으면 댓글로 남겨주셔도 됩니다!  1. 아예 인공지능 분야에 대해서 모르는 분이시라면 머신러닝, 수학부터 차근차근 공부하시다가 딥러닝 공부하시는 게 좋을 것 같습니다. 딥러닝도 비전이나 자연어처리, 음성 처리 등 다양한 분야가 있다보니 먼저 기초부터 단단히 하시고 세부 분야로 파..

NLP task 정리 (GLUE / SQuAD/RACE) 자연어처리 논문들에서 많이 보이는 Benchmark Dataset들에 대해서 틈틈이 정리해보려고 한다. GLUE 모델을 설계할 때 가장 중요한 것 중 하나는 '모델을 어떻게 평가할 것인가'입니다. 이에 맞게 테스트셋을 구축하고 테스트셋에 대한 평가 지표를 체계적으로 설계함으로써 원하는 태스크에 대한 모델의 성능을 적절하게 평가할 수 있습니다. 평가 방법이 비교적 명확하고 표준화 되어 있는 CV와는 달리 NLP의 경우에는 언어와 태스크에 따른 모델 평가 방법이 제대로 표준화되어 있지 않았습니다. 또한 전이 학습(Transfer Learning)과 관련한 연구가 활발히 NLP에 적용됨에 따라 특정 문제만을 해결하기 위한 Single task model..

Deep Contextualized Word Representations (ELMo) 정리 들어가기 전 ... Word Embedding https://asidefine.tistory.com/152 Word Embedding 01 (One-hot Encoding / Word2Vec ) 정리 [논문 목록] 1. Word2Vec : Efficient Estimation of Word Representations in Vector Space (https://arxiv.org/abs/1301.3781) 들어가기 앞서 컴퓨터는 텍스트 그 자체보다는 숫자를 더 잘 처리합니다 따라서,.. asidefine.tistory.com https://asidefine.tistory.com/154 Word Embedding 0..

[논문 목록] 1. Word2Vec : Efficient Estimation of Word Representations in Vector Space (https://arxiv.org/abs/1301.3781) 들어가기 앞서 컴퓨터는 텍스트 그 자체보다는 숫자를 더 잘 처리합니다 따라서, 자연어 처리에서는 텍스트를 숫자로 바꾸는 여러 기법을 사용합니다. 가장 기본적인 방법으로 원 핫 인코딩이 있습니다. 원 핫 인코딩은 표현하고자 하는 단어를 1로, 그렇지 않은 단어들은 0으로 표현하며 한 단어를 의미하는 벡터의 차원은 단어 집합의 크기가 됩니다. 각 단어는 하나의 고유한 원 핫 벡터로 표현됩니다. 하지만 원 핫 인코딩에는 각 단어 벡터 간의 관계, 즉 의미상의 유사성을 표현할 수 없다는 한계가 있습니다. ..

[논문 제목] 1. GloVe : global vectors for word representation (https://nlp.stanford.edu/pubs/glove.pdf) 2. FastText : Enriching Word Vectors with Subword Information (https://arxiv.org/abs/1607.04606) 들어가기 앞서 https://asidefine.tistory.com/152 Word Embedding 01 (One-hot Encoding / Word2Vec ) 정리 [논문 목록] 1. Word2Vec : Efficient Estimation of Word Representations in Vector Space (https://arxiv.org/abs/1..