세상은 내가 정하는 대로 세상은 내가 정하는 대로

[2023 Summer Lab Seminar] FINETUNED LANGUAGE MODELS ARE ZERO-SHOT LEARNERS (ICLR, 2022) 이 논문은 “Instruction Tuning”이라는, in-context learning과 Reinforcement Learning from Human Feedback (RLHF) 사이에 제시된, 다운스트림 태스크에 대한 학습 방식을 제시한 논문입니다. 다음과 같은 순서로 소개해드리겠습니다. 먼저 Introduction에서 최근 fine-tuning 외의 LLM을 학습하는 방식들에 대해서 설명을 드리고, 오늘 핵심적으로 말씀드릴 Instruction Tuning에 대해서 소개하고자 합니다. Instruction Tuning의 학습 방법을 말씀드리고..

Cross-lingual Language Model Pretraining (NeurIPS, 2019) 정리 목차 What is MLLMs and why we use it ? How are MLLMs built ? (in terms of XLM) Results and analysis (in terms of XLM) Studies After XLM What is MLLMs and why we use it ? MLLMs (Multilingual Language Model)이란 ? A single model that can handle multiple languages simultaneously Why We Use it ? Leading to many language specific BERTs KoBERT (K..

2023.12.27 업데이트  - ChatGPT도 등장한지 벌써 1년이나 되었습니다. GPT-3과 ChatGPT 이후로 NLP 분야에서도 흐름이 엄청 빠르게 바뀌었기 때문에 예전에 기록해두었던 논문 목록을 업데이트 하면 좋을 것 같다는 생각에 추가해두었습니다.- 'NLP 논문 공부 순서'로 블로그 유입이 많기도 하고, 여쭤보시는 분들도 있어서 저의 경우 NLP 공부를 어떻게 했었는지 (학부생 시절) 몇 자 적습니다. 궁금한 점 있으면 댓글로 남겨주셔도 됩니다!  1. 아예 인공지능 분야에 대해서 모르는 분이시라면 머신러닝, 수학부터 차근차근 공부하시다가 딥러닝 공부하시는 게 좋을 것 같습니다. 딥러닝도 비전이나 자연어처리, 음성 처리 등 다양한 분야가 있다보니 먼저 기초부터 단단히 하시고 세부 분야로 파..