세상은 내가 정하는 대로 세상은 내가 정하는 대로

[2023 NLP GLUE Seminar - Week02 Pruning] From Dense to Sparse: Contrastive Pruning for Better Pre-trained Language Model Compression 리뷰 (AAAI, 2022) 선수 지식 : pruning 기법, contrastive learning 목차 들어가기 전에 ... : Pruning이란 ? Introduction Methodology Experiments Discussions Conclusion 들어가기 전에 .... : Pruning이란 ? Pruning의 정의 가지치기로 해석할 수 있는 Pruning은 Model의 weight들 중 중요도가 낮은 weight의 연결을 제거하여 모델의 파라미터를 줄이는 ..

[2023 Winter Multimodal Seminar 1. Representation 1) Fusion] Tensor Fusion Network for Multimodal Sentiment Analysis 리뷰 (EMNLP, 2017, Oral) 목차 0. 들어가기 전에... : Representation Fusion 1. Introduction 2. Dataset : CMU-MOSI Dataset 3. Method : Tensor Fusion Network 4. Experiments 5. Qualitative Analysis 6. Conclusion 7. Code Review 0. 들어가기 전에... : Representation Fusion Multimodal의 Core Challenge는 위와 ..

[2023 Winter Multimodal Seminar] 0. Core research challenges in multimodal learning 이번 방학에는 Multimodal에 대해서 함께 공부해보려고 한다 ! 어디서부터 시작해야 될 지 모르겠던 찰나에, CMU에서 공개된 Multimodal Machine Learning Lecture가 있어서 이를 참고하여 스터디를 구성해보았다. 목차 0. Core research challenges in multimodal learning 1. Representation 2. Alignment 3. Reasoning 4. Generation 5. Transference 6. Quantification 0. Core research challenges in m..

Cross-lingual Language Model Pretraining (NeurIPS, 2019) 정리 목차 What is MLLMs and why we use it ? How are MLLMs built ? (in terms of XLM) Results and analysis (in terms of XLM) Studies After XLM What is MLLMs and why we use it ? MLLMs (Multilingual Language Model)이란 ? A single model that can handle multiple languages simultaneously Why We Use it ? Leading to many language specific BERTs KoBERT (K..

[Story Generation Study Week 06 : Text Generation with muti-modal data] Hide-and-Tell: Learning to Bridge Photo Streams for Visual Storytelling (AAAI, 2020) 리뷰 벌써 6주차라니 ,, 곧 개강이라니 ,, 오늘의 발표 세 줄 요약 : 숨기고, 상상하고, 말하라 1. Visual Storytelling은 입력된 사진의 연속열을 보고 단순한 설명 이상의, 사진 간의 상황과 의미를 공유하여 묘사하는 것 2. 본 논문에서는 입력 사진들 중 무작위로 마스킹하고, 이렇게 누락된 사진의 의미를 유추해 나가는 방식으로 학습하고자 함 → Hiding step + Imagining Step + Tell..

[Story Generation Study Week 02 : Story Generation & Story Completion] [Story Generation Study Week 02 : Story Generation & Story Completion] [commonsense] A Corpus and Cloze Evaluation for Deeper Understanding of Commonsense Stories (NAACL, 2016) [event] Event Representations for Automated Story Generation with Deep Neural Nets (AAAI, 2018) Strategies for structuring story generation (ACL, 2019..

[Story Generation Study 보충학습 : Story Generation Survey Paper] Automatic Story Generation: A Survey of Approaches 리뷰 [목차] 1. Definitions 2. Models 2-1.Structural Models 2-2.Planning based Models 2-3.ML Models 3. KNOWLEDGE SOURCES FOR STORYTELLING 4. TOWARD INTERESTING STORIES 5. STORY EVALUATION 6. DISCUSSION (Limitations) 7. Future Works 어떤 새로운 연구 분야를 접할 때, Survey 논문을 먼저 읽어보는 것을 좋아해서 이번에도 읽게 되었다..

[논문 리뷰] Beyond goldfish memory: long-term open-domain conversation Introduction 최근 대화 시스템과 관련한 연구들이 다수 이루어지고 있으며, 특히 오픈 도메인(Open-domain) 대화 시스템 연구에서는 모델이 자연스러운 대화 흐름, 공감 더 나아가 지식 공유 등의 능력을 갖출 수 있도록 모델링하는 다양한 방향의 연구들이 발표되고 있습니다. 오픈 도메인 챗봇(Open-domain chatbot)은 모든 주제에 관해 대화할 수 있는 에이전트를 개발하는 연구 분야로 도전적인 자연어처리 분야입니다. 오픈 도메인 챗봇으로는 대표적으로 Facebook의 Blender Bot, Google의 Meena가 있습니다. 그럼에도 불구하고, 오픈 도메인 대화..