세상은 내가 정하는 대로 세상은 내가 정하는 대로

[2023 Spring NLP Seminar ] On Transferability of Prompt Tuning for Natural Language Processing (NAACL 2022) Abstract + Introduction 기존 연구 동향: 기존의 pre-trained language models (PLMs)은 파라미터 수가 매우 많아서 fine-tuning에는 많은 계산 자원과 시간이 필요했다. 이러한 문제를 해결하기 위해 Prompt Tuning (PT)이라는 새로운 방법이 제안되었다. PT는 매우 큰 PLMs를 활용하여 매우 적은 수의 소프트 프롬프트(prompt)만을 조정하여 전체 파라미터 fine-tuning 수행 결과와 비교 가능한 성능을 달성하는 방법이다. 기존 연구들의 한계: ..

[Prompting] It’s Not Just Size That Matters:Small Language Models Are Also Few-Shot Learners 정리 (NAACL, 2021) 이 전에 작성했던 "나중에 읽을 논문들 / github repo들"이라는 포스트에 prompting 관련 논문을 읽고 싶다고 했었는데, 마침 랩 세미나 peer review를 하게 되어서,,, 먼저 이 논문을 제시해보았다 하지만 나의 발표가 아니기 때문에 간단히 정리하고 넘어가고자 한다 목차 0. 들어가기전에 ... : Prompting이란 ? 1. Introduction 2. Methods 3. Experiments & Results 4. Code Review 0. 들어가기전에 ... : Prompting이란..