AI/NLP
-
[Prompting] It’s Not Just Size That Matters:Small Language Models Are Also Few-Shot Learners 정리 (NAACL, 2021)AI/NLP 2023. 1. 11. 20:55
[Prompting] It’s Not Just Size That Matters:Small Language Models Are Also Few-Shot Learners 정리 (NAACL, 2021) 이 전에 작성했던 "나중에 읽을 논문들 / github repo들"이라는 포스트에 prompting 관련 논문을 읽고 싶다고 했었는데, 마침 랩 세미나 peer review를 하게 되어서,,, 먼저 이 논문을 제시해보았다 하지만 나의 발표가 아니기 때문에 간단히 정리하고 넘어가고자 한다 목차 0. 들어가기전에 ... : Prompting이란 ? 1. Introduction 2. Methods 3. Experiments & Results 4. Code Review 0. 들어가기전에 ... : Prompting이란..
-
나중에 읽을 논문들 / github repo들 (계속 업데이트 중)AI/NLP 2023. 1. 11. 11:24
나중에 읽을 논문들 / github repo들 나의 장점이라고 생각하는 것 중에 하나가 호기심이 많다는 거 ! 왜 이렇게 궁금한 게 많을까 ? 궁금하고 알고 싶은 분야에 대해서 아래 기록하고자 한다 Mikel Artetxe 참여 논문 https://aclanthology.org/2022.emnlp-main.759/ Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? Sewon Min, Xinxi Lyu, Ari Holtzman, Mikel Artetxe, Mike Lewis, Hannaneh Hajishirzi, Luke Zettlemoyer. Proceedings of the 2022 Conference on Empir..
-
[2023 NLP GLUE Seminar - Week02 Pruning] From Dense to Sparse: Contrastive Pruning for Better Pre-trained Language Model Compression 리뷰 (AAAI, 2022)AI/NLP 2023. 1. 9. 15:28
[2023 NLP GLUE Seminar - Week02 Pruning] From Dense to Sparse: Contrastive Pruning for Better Pre-trained Language Model Compression 리뷰 (AAAI, 2022) 선수 지식 : pruning 기법, contrastive learning 목차 들어가기 전에 ... : Pruning이란 ? Introduction Methodology Experiments Discussions Conclusion 들어가기 전에 .... : Pruning이란 ? Pruning의 정의 가지치기로 해석할 수 있는 Pruning은 Model의 weight들 중 중요도가 낮은 weight의 연결을 제거하여 모델의 파라미터를 줄이는 ..
-
Cross-lingual Language Model Pretraining (NeurIPS, 2019) 정리AI/NLP 2022. 12. 6. 15:53
Cross-lingual Language Model Pretraining (NeurIPS, 2019) 정리 목차 What is MLLMs and why we use it ? How are MLLMs built ? (in terms of XLM) Results and analysis (in terms of XLM) Studies After XLM What is MLLMs and why we use it ? MLLMs (Multilingual Language Model)이란 ? A single model that can handle multiple languages simultaneously Why We Use it ? Leading to many language specific BERTs KoBERT (K..
-
[Story Generation Study Week 06 : Text Generation with muti-modal data] Hide-and-Tell: Learning to Bridge Photo Streams for Visual Storytelling (AAAI, 2020) 리뷰AI/NLP 2022. 8. 16. 21:07
[Story Generation Study Week 06 : Text Generation with muti-modal data] Hide-and-Tell: Learning to Bridge Photo Streams for Visual Storytelling (AAAI, 2020) 리뷰 벌써 6주차라니 ,, 곧 개강이라니 ,, 오늘의 발표 세 줄 요약 : 숨기고, 상상하고, 말하라 1. Visual Storytelling은 입력된 사진의 연속열을 보고 단순한 설명 이상의, 사진 간의 상황과 의미를 공유하여 묘사하는 것 2. 본 논문에서는 입력 사진들 중 무작위로 마스킹하고, 이렇게 누락된 사진의 의미를 유추해 나가는 방식으로 학습하고자 함 → Hiding step + Imagining Step + Tell..
-
[Story Generation Study Week 02 : Story Generation & Story Completion]AI/NLP 2022. 7. 6. 13:03
[Story Generation Study Week 02 : Story Generation & Story Completion] [Story Generation Study Week 02 : Story Generation & Story Completion] [commonsense] A Corpus and Cloze Evaluation for Deeper Understanding of Commonsense Stories (NAACL, 2016) [event] Event Representations for Automated Story Generation with Deep Neural Nets (AAAI, 2018) Strategies for structuring story generation (ACL, 2019..
-
[Story Generation Study 보충학습 : Story Generation Survey Paper] Automatic Story Generation: A Survey of Approaches 리뷰AI/NLP 2022. 7. 5. 12:47
[Story Generation Study 보충학습 : Story Generation Survey Paper] Automatic Story Generation: A Survey of Approaches 리뷰 [목차] 1. Definitions 2. Models 2-1.Structural Models 2-2.Planning based Models 2-3.ML Models 3. KNOWLEDGE SOURCES FOR STORYTELLING 4. TOWARD INTERESTING STORIES 5. STORY EVALUATION 6. DISCUSSION (Limitations) 7. Future Works 어떤 새로운 연구 분야를 접할 때, Survey 논문을 먼저 읽어보는 것을 좋아해서 이번에도 읽게 되었다..
-
[논문 리뷰] Beyond goldfish memory: long-term open-domain conversationAI/NLP 2022. 6. 30. 17:58
[논문 리뷰] Beyond goldfish memory: long-term open-domain conversation Introduction 최근 대화 시스템과 관련한 연구들이 다수 이루어지고 있으며, 특히 오픈 도메인(Open-domain) 대화 시스템 연구에서는 모델이 자연스러운 대화 흐름, 공감 더 나아가 지식 공유 등의 능력을 갖출 수 있도록 모델링하는 다양한 방향의 연구들이 발표되고 있습니다. 오픈 도메인 챗봇(Open-domain chatbot)은 모든 주제에 관해 대화할 수 있는 에이전트를 개발하는 연구 분야로 도전적인 자연어처리 분야입니다. 오픈 도메인 챗봇으로는 대표적으로 Facebook의 Blender Bot, Google의 Meena가 있습니다. 그럼에도 불구하고, 오픈 도메인 대화..