[Story Generation Study Week 01 : Fundamental of Text Generation] GPT-1 / GPT-2 Review & 스터디 메모

[Story Generation Study Week 01 : Fundamental of Text Generation] 
GPT-1 / GPT-2 Review & 스터디 메모

 

 

[Story Generation Study Week 01 : Fundamental of Text Generation]

GPT-1: Improving Language Understanding by Generative Pre-Training (2018)
GPT-2: Language Models are Unsupervised Multitask Learners (2019)
GPT-3: Language Models are Few-Shot Learners (2020)

 

 

 

 

GPT-1

• unlabeled data를 이용해 전반적인 단어의 임베딩을 먼저 갖추는 것이 좋다는 다양한 실험이 있었음 
• Objective Function 
• input adaptation = input transformation

https://velog.io/@gy77/Review-Improving-Language-Understanding-by-Generative-Pre-Training-GPT-1

[Review] Improving Language Understanding by Generative Pre-Training (GPT-1)

 

 

 

 

GPT-2

• Byte encoding 
  • UTF-8은 유니코드를 인코딩하는 방식 
  • Byte-level의 BPE를 사용하려고 하면 greedy 방식으로 빈도수에 기반하여 word 만드는데 , 이때 같은 단어라도 다양한 변주가 만들어지게 됨 (dog, / dog! / dog.)
  • <-> wordpiece tokenizer는 BPE의 변형 알고리즘 

https://velog.io/@delee12/GPT-2

[논문 리뷰] GPT-2: Language Models are Unsupervised Multitask Learners

 

 

 

Meta Review