세상은 내가 정하는 대로 세상은 내가 정하는 대로

Training language models to follow instructions with human feedback (a.k.a. InstructGPT, 2022) 리뷰 목차 들어가며... Paradigms for Applying LLMs 들어가며... meta : Blender bot 3.0 google : LaMDA 실제 구글 개발자가 LaMDA가 감정이 있다고 하자, 해고당한 적 있음 https://medium.com/predict/does-googles-lamda-robot-experience-feelings-184fa300f9aa General AI가 오고 있는가 ? DALLI / ChatGPT .... : 오고 있는 중 아닐까 ? ChatGPT가 불러온 파장 https://meta.sta..

[2023 Winter Multimodal Seminar 3. Reasoning 1) Structure Modeling] Memory Fusion Network for Multi-view Sequential Learning 리뷰 (AAAI, 2018) 목차 0. 들어가기 전에 ... Reasoning이란 ? 1. Introduction 2. Methods 3. Experiments 4. Results 5. Conclusion 6. Code Review 0. 들어가기 전에 ... Reasoning이란 ? Reasoning은 일반적으로 task에 대한 여러 inferential steps를 통해 multimodal evidence로부터 knowledge을 구성하는 것을 목표로 한다 세부 챌린지로는 Struc..

3D human pose estimation in video with temporal convolutions and semi-supervised training 논문 리뷰 인턴할 때 읽은 논문인데 이제야 올리네요... ^^ Abstract fully convolutional model을 통해 비디오에서의 3D pose를 추정 label이 없는 비디오 데이터를 활용하기 위한 back projection 방법 소개(semi supervised training) unlabel 비디오에 대해 예측된 2D keypoint 부터 시작하여 3D pose를 예측하고 마지막으로 입력된 2D keypoint를 back project한다. 1. Introduction Dilated convolution을 이용한 tempor..

[Prompting] It’s Not Just Size That Matters:Small Language Models Are Also Few-Shot Learners 정리 (NAACL, 2021) 이 전에 작성했던 "나중에 읽을 논문들 / github repo들"이라는 포스트에 prompting 관련 논문을 읽고 싶다고 했었는데, 마침 랩 세미나 peer review를 하게 되어서,,, 먼저 이 논문을 제시해보았다 하지만 나의 발표가 아니기 때문에 간단히 정리하고 넘어가고자 한다 목차 0. 들어가기전에 ... : Prompting이란 ? 1. Introduction 2. Methods 3. Experiments & Results 4. Code Review 0. 들어가기전에 ... : Prompting이란..

[2023 NLP GLUE Seminar - Week02 Pruning] From Dense to Sparse: Contrastive Pruning for Better Pre-trained Language Model Compression 리뷰 (AAAI, 2022) 선수 지식 : pruning 기법, contrastive learning 목차 들어가기 전에 ... : Pruning이란 ? Introduction Methodology Experiments Discussions Conclusion 들어가기 전에 .... : Pruning이란 ? Pruning의 정의 가지치기로 해석할 수 있는 Pruning은 Model의 weight들 중 중요도가 낮은 weight의 연결을 제거하여 모델의 파라미터를 줄이는 ..

[2023 Winter Multimodal Seminar 1. Representation 1) Fusion] Tensor Fusion Network for Multimodal Sentiment Analysis 리뷰 (EMNLP, 2017, Oral) 목차 0. 들어가기 전에... : Representation Fusion 1. Introduction 2. Dataset : CMU-MOSI Dataset 3. Method : Tensor Fusion Network 4. Experiments 5. Qualitative Analysis 6. Conclusion 7. Code Review 0. 들어가기 전에... : Representation Fusion Multimodal의 Core Challenge는 위와 ..

[2023 Winter Multimodal Seminar] 0. Core research challenges in multimodal learning 이번 방학에는 Multimodal에 대해서 함께 공부해보려고 한다 ! 어디서부터 시작해야 될 지 모르겠던 찰나에, CMU에서 공개된 Multimodal Machine Learning Lecture가 있어서 이를 참고하여 스터디를 구성해보았다. 목차 0. Core research challenges in multimodal learning 1. Representation 2. Alignment 3. Reasoning 4. Generation 5. Transference 6. Quantification 0. Core research challenges in m..

Cross-lingual Language Model Pretraining (NeurIPS, 2019) 정리 목차 What is MLLMs and why we use it ? How are MLLMs built ? (in terms of XLM) Results and analysis (in terms of XLM) Studies After XLM What is MLLMs and why we use it ? MLLMs (Multilingual Language Model)이란 ? A single model that can handle multiple languages simultaneously Why We Use it ? Leading to many language specific BERTs KoBERT (K..