세상은 내가 정하는 대로 세상은 내가 정하는 대로

[2023 Spring Lab Seminar] Training language models to follow instructions with human feedback (NeurIPS 2022) 들어가기 전에 ... https://asidefine.tistory.com/213 이전에 대규님이 동일한 논문을 정리해주신 바 있었는데, 한 번 더 들으니까 더 이해가 쏙쏙 ! Abstract & Introduction RLHF : Reinforcement Learning with human feeback continuation x 4: sampling 4번 한다 NLP에서의 강화학습은 ? agent : LM Policy : Text Sequence 생성 action space: LM의 모든 token(=voca..

Training language models to follow instructions with human feedback (a.k.a. InstructGPT, 2022) 리뷰 목차 들어가며... Paradigms for Applying LLMs 들어가며... meta : Blender bot 3.0 google : LaMDA 실제 구글 개발자가 LaMDA가 감정이 있다고 하자, 해고당한 적 있음 https://medium.com/predict/does-googles-lamda-robot-experience-feelings-184fa300f9aa General AI가 오고 있는가 ? DALLI / ChatGPT .... : 오고 있는 중 아닐까 ? ChatGPT가 불러온 파장 https://meta.sta..

[Story Generation Study Week 01 : Fundamental of Text Generation] GPT-1 / GPT-2 Review & 스터디 메모 [Story Generation Study Week 01 : Fundamental of Text Generation] GPT-1: Improving Language Understanding by Generative Pre-Training (2018) GPT-2: Language Models are Unsupervised Multitask Learners (2019) GPT-3: Language Models are Few-Shot Learners (2020) GPT-1 unlabeled data를 이용해 전반적인 단어의 임베딩을 먼저 갖..

[Story Generation Study Week 01 : Fundamental of Text Generation] GPT-3 : Language Models are Few-Shot Learners (2020) Review [Story Generation Study Week 01 : Fundamental of Text Generation] GPT-1: Improving Language Understanding by Generative Pre-Training (2018) GPT-2: Language Models are Unsupervised Multitask Learners (2019) GPT-3: Language Models are Few-Shot Learners (2020) 방학 중 내가 너무너무너무..

2023.12.27 업데이트  - ChatGPT도 등장한지 벌써 1년이나 되었습니다. GPT-3과 ChatGPT 이후로 NLP 분야에서도 흐름이 엄청 빠르게 바뀌었기 때문에 예전에 기록해두었던 논문 목록을 업데이트 하면 좋을 것 같다는 생각에 추가해두었습니다.- 'NLP 논문 공부 순서'로 블로그 유입이 많기도 하고, 여쭤보시는 분들도 있어서 저의 경우 NLP 공부를 어떻게 했었는지 (학부생 시절) 몇 자 적습니다. 궁금한 점 있으면 댓글로 남겨주셔도 됩니다!  1. 아예 인공지능 분야에 대해서 모르는 분이시라면 머신러닝, 수학부터 차근차근 공부하시다가 딥러닝 공부하시는 게 좋을 것 같습니다. 딥러닝도 비전이나 자연어처리, 음성 처리 등 다양한 분야가 있다보니 먼저 기초부터 단단히 하시고 세부 분야로 파..