AI/NLP
-
LLM Tokenization 방법 정리 (BytePair, WordPiece, Unigram, SentencePiece)AI/NLP 2024. 4. 22. 10:25
LLM Tokenization 방법 정리 (BytePair, WordPiece, SentencePiece) Tokenization이란 input text sequence를 Token이라는 더 작은 부분으로 변환하는 과정이다 가장 단순한 Tokenization 방법은 공백을 기준으로 나누는 거겠지만, 이는 OOV(out of vocabulary) 문제를 일으킨다 이 문제를 해결하기 위해 Subword 기반의 Tokenization를 많이 사용하고 있으며, 이때 훈련 데이터에 없는 단어 등 기존에 보지 못했던 단어들에 대해서도 유연하게 대처할 수 있다 아래는 Subword 기반의 Tokenization 기법들을 살펴본다 BytePairEncoding 원래 데이터 압축 알고리즘의 한 유형으로, 자주 나타나는 ..
-
LLM Alignment 방법 정리 (RLHF, DPO, KTO, ... )AI/NLP 2024. 4. 22. 10:23
LLM Alignment 방법 정리 (RLHF, DPO, KTO, ... ) Alignment란 AI 시스템을 인간의 목표, 선호도 및 원칙에 맞추어 조정하는 과정 인간의 윤리적 기준, 사회적 가치, 그리고 개별 사용자의 특정 요구를 반영하도록 조정하는 것을 포함 이런 Alignment를 잘 수행하기 위해 인간의 행동을 더 잘 반영하는 Loss Function들이 제시되었는데 이를 Human-Aware Loss Function (HALOs)라고 한다 PPO, DPO, MTO 등이 여기에 해당한다 Reinforcement Learning with Human Feedback (RLHF) / Reinforcement learning from AI feedback (RLAIF) 3 Step으로 수행 Step 1..
-
[2023 Summer Lab Seminar] FLAN: FINETUNED LANGUAGE MODELS ARE ZERO-SHOT LEARNERS (ICLR, 2022)AI/NLP 2023. 9. 28. 14:49
[2023 Summer Lab Seminar] FINETUNED LANGUAGE MODELS ARE ZERO-SHOT LEARNERS (ICLR, 2022) 이 논문은 “Instruction Tuning”이라는, in-context learning과 Reinforcement Learning from Human Feedback (RLHF) 사이에 제시된, 다운스트림 태스크에 대한 학습 방식을 제시한 논문입니다. 다음과 같은 순서로 소개해드리겠습니다. 먼저 Introduction에서 최근 fine-tuning 외의 LLM을 학습하는 방식들에 대해서 설명을 드리고, 오늘 핵심적으로 말씀드릴 Instruction Tuning에 대해서 소개하고자 합니다. Instruction Tuning의 학습 방법을 말씀드리고..
-
[2023 Spring Lab Seminar] Sequential Modelling of the Evolution of Word Representations for Semantic Change Detection (EMNLP, 2022)AI/NLP 2023. 5. 23. 18:34
Sequential Modelling of the Evolution of Word Representations for Semantic Change Detection (EMNLP, 2022) 요약: 이 논문은 시간이 지남에 따라 의미가 변화한 단어를 식별하는 작업인 '의미 변화 감지'에 관한 것 본 연구에서는 단어 벡터의 시퀀셜 모델 세 가지 변형을 제안하여 시간에 따른 단어 표현의 변화를 효과적으로 고려 가상 및 실제 데이터에 대해 다양한 설정에서의 광범위한 실험을 통해 단어 벡터의 시퀀셜 모델링이 의미 변화 감지에 있어 중요성을 보여줌 마지막으로, 다양한 접근 방식을 정량적으로 비교하여 단어 표현의 시간적 모델링이 성능적으로 명확한 이점을 제공하는 것을 입증 기존 연구: 기존의 연구들은 단어의 벡터 표..
-
[2023 Spring NLP Seminar] On Transferability of Prompt Tuning for Natural Language Processing (NAACL 2022)AI/NLP 2023. 5. 10. 11:07
[2023 Spring NLP Seminar ] On Transferability of Prompt Tuning for Natural Language Processing (NAACL 2022) Abstract + Introduction 기존 연구 동향: 기존의 pre-trained language models (PLMs)은 파라미터 수가 매우 많아서 fine-tuning에는 많은 계산 자원과 시간이 필요했다. 이러한 문제를 해결하기 위해 Prompt Tuning (PT)이라는 새로운 방법이 제안되었다. PT는 매우 큰 PLMs를 활용하여 매우 적은 수의 소프트 프롬프트(prompt)만을 조정하여 전체 파라미터 fine-tuning 수행 결과와 비교 가능한 성능을 달성하는 방법이다. 기존 연구들의 한계: ..
-
[2023 Spring NLP Seminar] How Far are We from Robust Long Abstractive Summarization? (EMNLP 2022)AI/NLP 2023. 5. 3. 13:43
[2023 Spring NLP Seminar] How Far are We from Robust Long Abstractive Summarization? (EMNLP 2022) Abstract & Introduction 기존 연구들의 한계점: 기존 연구에서는 요약의 관련성을 평가하는 ROUGE 메트릭을 주로 사용했지만, 사실성을 평가하는 메트릭은 부족 긴 문서를 요약하는 모델에서는 ROUGE 결과를 최대화하기 위해 학습하였지만, 이로 인해 사실성을 무시하는 요약이 생성되는 경우가 있음 본 연구의 접근 방법: 긴 문서를 추상적으로 요약하는 모델과 메트릭을 평가하기 위해 인간 주석을 수행 평가를 통해 요약의 관련성과 사실성을 평가하는 ROUGE와 다양한 사실성 메트릭(BLEURT, FactCC, etc.)을 ..
-
[2023 Spring NLP Seminar] Types of Out-of-Distribution Texts and How to Detect Them (EMNLP 2021)AI/NLP 2023. 4. 26. 11:06
[2023 Spring NLP Seminar] Types of Out-of-Distribution Texts and How to Detect Them (EMNLP 2021) Abstract + Introduction 기존 연구의 한계: 이전 연구에서는 OOD 예제를 감지하는 것이 중요하다는 것에는 합의가 있었으나, OOD 예제의 분포 변화에 대한 공식적인 정의 및 탐지 방법에 대해 합의가 없었다. 이러한 논란은 OOD 감지 분야의 발전을 제한하는 한계점으로 작용하였다. 본 논문의 접근방법: 본 연구에서는 OOD 예제를 배경 변화(background shift)와 의미 변화(semantic shift)를 나타내는 두 가지 유형으로 구분하였다. 또한, OOD 감지의 두 가지 대표적인 방법인 보정(calibr..
-
[2023 Spring Lab Seminar] When is BERT Multilingual? Isolating Crucial Ingredients for Cross-lingual Transfer (NAACL, 2022)AI/NLP 2023. 4. 25. 18:39
[2023 Spring Lab Seminar] When is BERT Multilingual? Isolating Crucial Ingredients for Cross-lingual Transfer (NAACL, 2022) Abstract + Introduction Research Goal 어떤 Property가 cross-lingual zero shot transfer에 좋은 영향을 주냐 ? Method 16 natural-synthetic language pair Languages : 1) English, 2) French, 3) Arabic, and 4) Hindi 4 Downstream Tasks : 1) NLI, 2) NER, 3) POS, and 4) QA Transformation: 1) In..