세상은 내가 정하는 대로 세상은 내가 정하는 대로

[2023 Spring NLP Seminar] How Far are We from Robust Long Abstractive Summarization? (EMNLP 2022) Abstract & Introduction 기존 연구들의 한계점: 기존 연구에서는 요약의 관련성을 평가하는 ROUGE 메트릭을 주로 사용했지만, 사실성을 평가하는 메트릭은 부족 긴 문서를 요약하는 모델에서는 ROUGE 결과를 최대화하기 위해 학습하였지만, 이로 인해 사실성을 무시하는 요약이 생성되는 경우가 있음 본 연구의 접근 방법: 긴 문서를 추상적으로 요약하는 모델과 메트릭을 평가하기 위해 인간 주석을 수행 평가를 통해 요약의 관련성과 사실성을 평가하는 ROUGE와 다양한 사실성 메트릭(BLEURT, FactCC, etc.)을 ..

[2023 Spring NLP Seminar] Mutual Information Alleviates Hallucinations in Abstractive Summarization (EMNLP 2022) Abstract / Introduction Background hallucination : 긴 문서를 짧은 요약으로 생성하는 추상적 요약(abstractive summarization) 작업에서 자주 발생하는 문제 Limitation 기존의 모델들은 원본 문서에서 나타나지 않는 내용을 생성하는 경향이 있음 이로 인해 잘못된 정보를 전달하게 되는데, 이를 방지하기 위해 이전 연구에서 다양한 시도가 있었지만, 효율적이고 robust한 기술은 없었다고 함 Our Approach 모델이 hallucination을..

[2023 Spring NLP Seminar] SimCSE : Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021) 간단 리뷰 Abstract / Introduction SimCSE: sentence embedding을 advance하는 simple한 contrastive learning framework 이전에 있었던 것들: SBERT (Reimers and Gurevych, 2019) 등 unsupervised approach positive pair: 같은 문장에 한 번씩 standard dropout을 거친 2개의 문장 negative pair는 같은 mini-batch 안의 다른 문장들 이렇게 간단한 방법이 NSP나 discrete d..

[2023 Winter Multimodal Seminar 1. Representation 1) Fusion] Tensor Fusion Network for Multimodal Sentiment Analysis 리뷰 (EMNLP, 2017, Oral) 목차 0. 들어가기 전에... : Representation Fusion 1. Introduction 2. Dataset : CMU-MOSI Dataset 3. Method : Tensor Fusion Network 4. Experiments 5. Qualitative Analysis 6. Conclusion 7. Code Review 0. 들어가기 전에... : Representation Fusion Multimodal의 Core Challenge는 위와 ..