세상은 내가 정하는 대로 세상은 내가 정하는 대로

[2023 Spring NLP Seminar] BART: Denoising Sequence-to-Sequence Pre-training for NaturalLanguage Generation, Translation, and Comprehension (ACL 2020) 이전에 정리했던 대표적인 LM 논문들 (BERT / RoBERTa / GPT-1 / GPT-2 / GPT-3 ) https://asidefine.tistory.com/181 GPT-1 / BERT / GPT-2 간단 정리 GPT-1 / BERT / GPT-2 간단 정리 [논문 목록] GPT-1 : Improving Language Understanding by Generative Pre-Training (2018) BERT : Pre-tra..

[2023 Spring NLP Seminar] SimCSE : Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021) 간단 리뷰 Abstract / Introduction SimCSE: sentence embedding을 advance하는 simple한 contrastive learning framework 이전에 있었던 것들: SBERT (Reimers and Gurevych, 2019) 등 unsupervised approach positive pair: 같은 문장에 한 번씩 standard dropout을 거친 2개의 문장 negative pair는 같은 mini-batch 안의 다른 문장들 이렇게 간단한 방법이 NSP나 discrete d..

https://zapier.com/blog/gpt-3-prompt/ How to write an effective GPT-3 prompt | Zapier These tips will help you write an effective GPT-3 prompt to get the output you're looking for from OpenAI. zapier.com https://decentralizedcreator.com/use-gpt-3-to-create-and-enhance-text-to-image-prompts/

Training language models to follow instructions with human feedback (a.k.a. InstructGPT, 2022) 리뷰 목차 들어가며... Paradigms for Applying LLMs 들어가며... meta : Blender bot 3.0 google : LaMDA 실제 구글 개발자가 LaMDA가 감정이 있다고 하자, 해고당한 적 있음 https://medium.com/predict/does-googles-lamda-robot-experience-feelings-184fa300f9aa General AI가 오고 있는가 ? DALLI / ChatGPT .... : 오고 있는 중 아닐까 ? ChatGPT가 불러온 파장 https://meta.sta..

[Prompting] It’s Not Just Size That Matters:Small Language Models Are Also Few-Shot Learners 정리 (NAACL, 2021) 이 전에 작성했던 "나중에 읽을 논문들 / github repo들"이라는 포스트에 prompting 관련 논문을 읽고 싶다고 했었는데, 마침 랩 세미나 peer review를 하게 되어서,,, 먼저 이 논문을 제시해보았다 하지만 나의 발표가 아니기 때문에 간단히 정리하고 넘어가고자 한다 목차 0. 들어가기전에 ... : Prompting이란 ? 1. Introduction 2. Methods 3. Experiments & Results 4. Code Review 0. 들어가기전에 ... : Prompting이란..

[2023 NLP GLUE Seminar - Week02 Pruning] From Dense to Sparse: Contrastive Pruning for Better Pre-trained Language Model Compression 리뷰 (AAAI, 2022) 선수 지식 : pruning 기법, contrastive learning 목차 들어가기 전에 ... : Pruning이란 ? Introduction Methodology Experiments Discussions Conclusion 들어가기 전에 .... : Pruning이란 ? Pruning의 정의 가지치기로 해석할 수 있는 Pruning은 Model의 weight들 중 중요도가 낮은 weight의 연결을 제거하여 모델의 파라미터를 줄이는 ..

Cross-lingual Language Model Pretraining (NeurIPS, 2019) 정리 목차 What is MLLMs and why we use it ? How are MLLMs built ? (in terms of XLM) Results and analysis (in terms of XLM) Studies After XLM What is MLLMs and why we use it ? MLLMs (Multilingual Language Model)이란 ? A single model that can handle multiple languages simultaneously Why We Use it ? Leading to many language specific BERTs KoBERT (K..

[Story Generation Study Week 06 : Text Generation with muti-modal data] Hide-and-Tell: Learning to Bridge Photo Streams for Visual Storytelling (AAAI, 2020) 리뷰 벌써 6주차라니 ,, 곧 개강이라니 ,, 오늘의 발표 세 줄 요약 : 숨기고, 상상하고, 말하라 1. Visual Storytelling은 입력된 사진의 연속열을 보고 단순한 설명 이상의, 사진 간의 상황과 의미를 공유하여 묘사하는 것 2. 본 논문에서는 입력 사진들 중 무작위로 마스킹하고, 이렇게 누락된 사진의 의미를 유추해 나가는 방식으로 학습하고자 함 → Hiding step + Imagining Step + Tell..