세상은 내가 정하는 대로 세상은 내가 정하는 대로

[2023 Spring NLP Seminar] Efficient Dialogue State Tracking by Selectively Overwriting Memory (ACL 2020) A.K.A SOM-DST Naver Clova에서 만든 SOM-DST! Abstract & Introduction 이 논문은 대화 시스템의 효율적인 State Tracking을 위한 "Selectively Overwriting Memory" 접근 방식을 제안 State Tracking은 대화 시스템에서 중요한 역할 대화 시스템은 사용자의 발화를 이해하고, 이전 발화와 현재 발화를 연결하여 사용자 의도를 파악하고 적절한 응답을 생성한다. 이를 위해서는 이전 대화 상황에 대한 정보를 메모리에 저장하고 업데이트해야 함 기존의..

[2023 Spring NLP Seminar] Mutual Information Alleviates Hallucinations in Abstractive Summarization (EMNLP 2022) Abstract / Introduction Background hallucination : 긴 문서를 짧은 요약으로 생성하는 추상적 요약(abstractive summarization) 작업에서 자주 발생하는 문제 Limitation 기존의 모델들은 원본 문서에서 나타나지 않는 내용을 생성하는 경향이 있음 이로 인해 잘못된 정보를 전달하게 되는데, 이를 방지하기 위해 이전 연구에서 다양한 시도가 있었지만, 효율적이고 robust한 기술은 없었다고 함 Our Approach 모델이 hallucination을..

[2023 Spring NLP Seminar] BART: Denoising Sequence-to-Sequence Pre-training for NaturalLanguage Generation, Translation, and Comprehension (ACL 2020) 이전에 정리했던 대표적인 LM 논문들 (BERT / RoBERTa / GPT-1 / GPT-2 / GPT-3 ) https://asidefine.tistory.com/181 GPT-1 / BERT / GPT-2 간단 정리 GPT-1 / BERT / GPT-2 간단 정리 [논문 목록] GPT-1 : Improving Language Understanding by Generative Pre-Training (2018) BERT : Pre-tra..

[2023 Spring NLP Seminar] SimCSE : Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021) 간단 리뷰 Abstract / Introduction SimCSE: sentence embedding을 advance하는 simple한 contrastive learning framework 이전에 있었던 것들: SBERT (Reimers and Gurevych, 2019) 등 unsupervised approach positive pair: 같은 문장에 한 번씩 standard dropout을 거친 2개의 문장 negative pair는 같은 mini-batch 안의 다른 문장들 이렇게 간단한 방법이 NSP나 discrete d..

Training language models to follow instructions with human feedback (a.k.a. InstructGPT, 2022) 리뷰 목차 들어가며... Paradigms for Applying LLMs 들어가며... meta : Blender bot 3.0 google : LaMDA 실제 구글 개발자가 LaMDA가 감정이 있다고 하자, 해고당한 적 있음 https://medium.com/predict/does-googles-lamda-robot-experience-feelings-184fa300f9aa General AI가 오고 있는가 ? DALLI / ChatGPT .... : 오고 있는 중 아닐까 ? ChatGPT가 불러온 파장 https://meta.sta..

[Prompting] It’s Not Just Size That Matters:Small Language Models Are Also Few-Shot Learners 정리 (NAACL, 2021) 이 전에 작성했던 "나중에 읽을 논문들 / github repo들"이라는 포스트에 prompting 관련 논문을 읽고 싶다고 했었는데, 마침 랩 세미나 peer review를 하게 되어서,,, 먼저 이 논문을 제시해보았다 하지만 나의 발표가 아니기 때문에 간단히 정리하고 넘어가고자 한다 목차 0. 들어가기전에 ... : Prompting이란 ? 1. Introduction 2. Methods 3. Experiments & Results 4. Code Review 0. 들어가기전에 ... : Prompting이란..

[2023 NLP GLUE Seminar - Week02 Pruning] From Dense to Sparse: Contrastive Pruning for Better Pre-trained Language Model Compression 리뷰 (AAAI, 2022) 선수 지식 : pruning 기법, contrastive learning 목차 들어가기 전에 ... : Pruning이란 ? Introduction Methodology Experiments Discussions Conclusion 들어가기 전에 .... : Pruning이란 ? Pruning의 정의 가지치기로 해석할 수 있는 Pruning은 Model의 weight들 중 중요도가 낮은 weight의 연결을 제거하여 모델의 파라미터를 줄이는 ..

Cross-lingual Language Model Pretraining (NeurIPS, 2019) 정리 목차 What is MLLMs and why we use it ? How are MLLMs built ? (in terms of XLM) Results and analysis (in terms of XLM) Studies After XLM What is MLLMs and why we use it ? MLLMs (Multilingual Language Model)이란 ? A single model that can handle multiple languages simultaneously Why We Use it ? Leading to many language specific BERTs KoBERT (K..