세상은 내가 정하는 대로 세상은 내가 정하는 대로

[2023 Spring NLP Seminar ] On Transferability of Prompt Tuning for Natural Language Processing (NAACL 2022) Abstract + Introduction 기존 연구 동향: 기존의 pre-trained language models (PLMs)은 파라미터 수가 매우 많아서 fine-tuning에는 많은 계산 자원과 시간이 필요했다. 이러한 문제를 해결하기 위해 Prompt Tuning (PT)이라는 새로운 방법이 제안되었다. PT는 매우 큰 PLMs를 활용하여 매우 적은 수의 소프트 프롬프트(prompt)만을 조정하여 전체 파라미터 fine-tuning 수행 결과와 비교 가능한 성능을 달성하는 방법이다. 기존 연구들의 한계: ..

[2023 Spring NLP Seminar] How Far are We from Robust Long Abstractive Summarization? (EMNLP 2022) Abstract & Introduction 기존 연구들의 한계점: 기존 연구에서는 요약의 관련성을 평가하는 ROUGE 메트릭을 주로 사용했지만, 사실성을 평가하는 메트릭은 부족 긴 문서를 요약하는 모델에서는 ROUGE 결과를 최대화하기 위해 학습하였지만, 이로 인해 사실성을 무시하는 요약이 생성되는 경우가 있음 본 연구의 접근 방법: 긴 문서를 추상적으로 요약하는 모델과 메트릭을 평가하기 위해 인간 주석을 수행 평가를 통해 요약의 관련성과 사실성을 평가하는 ROUGE와 다양한 사실성 메트릭(BLEURT, FactCC, etc.)을 ..

[2023 Spring NLP Seminar] Types of Out-of-Distribution Texts and How to Detect Them (EMNLP 2021) Abstract + Introduction 기존 연구의 한계: 이전 연구에서는 OOD 예제를 감지하는 것이 중요하다는 것에는 합의가 있었으나, OOD 예제의 분포 변화에 대한 공식적인 정의 및 탐지 방법에 대해 합의가 없었다. 이러한 논란은 OOD 감지 분야의 발전을 제한하는 한계점으로 작용하였다. 본 논문의 접근방법: 본 연구에서는 OOD 예제를 배경 변화(background shift)와 의미 변화(semantic shift)를 나타내는 두 가지 유형으로 구분하였다. 또한, OOD 감지의 두 가지 대표적인 방법인 보정(calibr..

[2023 Spring Lab Seminar] When is BERT Multilingual? Isolating Crucial Ingredients for Cross-lingual Transfer (NAACL, 2022) Abstract + Introduction Research Goal 어떤 Property가 cross-lingual zero shot transfer에 좋은 영향을 주냐 ? Method 16 natural-synthetic language pair Languages : 1) English, 2) French, 3) Arabic, and 4) Hindi 4 Downstream Tasks : 1) NLI, 2) NER, 3) POS, and 4) QA Transformation: 1) In..

[2023 Spring Lab Seminar] Training language models to follow instructions with human feedback (NeurIPS 2022) 들어가기 전에 ... https://asidefine.tistory.com/213 이전에 대규님이 동일한 논문을 정리해주신 바 있었는데, 한 번 더 들으니까 더 이해가 쏙쏙 ! Abstract & Introduction RLHF : Reinforcement Learning with human feeback continuation x 4: sampling 4번 한다 NLP에서의 강화학습은 ? agent : LM Policy : Text Sequence 생성 action space: LM의 모든 token(=voca..

[2023 Spring NLP Seminar] How to Adapt Your Pretrained Multilingual Model to 1600 Languages (ACL 2022) 이번 분기 NLP Seminar에서는 Multilingual 분야를 파 보기로 했다 ! ! 목차 0. 들어가기 전에... 1. Abstract + Introduction 2. Related Works 3. Experiments 4. Results 5. Case Study 6. Limitations 7. Conclusion 8. Reference 0. 들어가기 전에 ... PMM (Pretrained Multilingual Model) 등장 이전 [General cross-lingual representations] 1. w..

[2023 Spring NLP Seminar] Efficient Dialogue State Tracking by Selectively Overwriting Memory (ACL 2020) A.K.A SOM-DST Naver Clova에서 만든 SOM-DST! Abstract & Introduction 이 논문은 대화 시스템의 효율적인 State Tracking을 위한 "Selectively Overwriting Memory" 접근 방식을 제안 State Tracking은 대화 시스템에서 중요한 역할 대화 시스템은 사용자의 발화를 이해하고, 이전 발화와 현재 발화를 연결하여 사용자 의도를 파악하고 적절한 응답을 생성한다. 이를 위해서는 이전 대화 상황에 대한 정보를 메모리에 저장하고 업데이트해야 함 기존의..

[2023 Spring NLP Seminar] Mutual Information Alleviates Hallucinations in Abstractive Summarization (EMNLP 2022) Abstract / Introduction Background hallucination : 긴 문서를 짧은 요약으로 생성하는 추상적 요약(abstractive summarization) 작업에서 자주 발생하는 문제 Limitation 기존의 모델들은 원본 문서에서 나타나지 않는 내용을 생성하는 경향이 있음 이로 인해 잘못된 정보를 전달하게 되는데, 이를 방지하기 위해 이전 연구에서 다양한 시도가 있었지만, 효율적이고 robust한 기술은 없었다고 함 Our Approach 모델이 hallucination을..