세상은 내가 정하는 대로 세상은 내가 정하는 대로

Discriminative model 샘플의 카테고리만을 예측하는데 관심이 있는 모델 사후 확률 P(y|x)만 구함 x라는 샘플이 있을 때 이 샘플의 카테고리가 y 일 확률, 즉 사후 확률 P(y|x)만을 추정하면 됨 카테고리가 4개 존재한다면 소프트맥스(softmax)의 경우와 같이 각 카테고리별 사후 확률인 P(y=1|x), P(y=2|x), P(y=3|x), P(y=4|x)를 구한 후, 사후 확률이 가장 높은 카테고리로 분류 대부분은 분별 모델 ex) 특정 데이터의 카테고리를 분류하는 모델 ex) Logistic regression, Neural Networks 각 class의 차이에 주목하여 바로바로 어떤 class에 들어가야 할지 결정해 주는 모델 Generative model Discrimin..

[2023 Winter Multimodal Seminar 4.Transference 2) Transfer] Multimodal Few-Shot Learning with Frozen Language Models 논문 리뷰 (NeurIPS, 2021) 본 포스팅은 딥마인드에서 발표한 Frozen Method에 대해서 알아본다 딥마인드, 많이 들어보셨죠 ? 데미스 허사비스(Demis Hassabis), 셰인 레그(Shane Legg), 무스타파 술레이만(Mustafa Suleyman)의 세 명이 2010년 딥마인드 테크놀로지(DeepMind Technologies)라는 이름으로 처음 공동 창업하였다. 현재와 같이 이름이 바뀌게 된 것은 2014년 구글에 인수되면서부터이다. 구글 X 소속이었으나 2015년 구글..

https://zapier.com/blog/gpt-3-prompt/ How to write an effective GPT-3 prompt | Zapier These tips will help you write an effective GPT-3 prompt to get the output you're looking for from OpenAI. zapier.com https://decentralizedcreator.com/use-gpt-3-to-create-and-enhance-text-to-image-prompts/

Multimodal transformers have made significant progress over the past few years, by pre-trained on large scale image and text pairs, then finetuned on downstream tasks. VisualBERT (Li et al., 2019), Unicoder-VL (Li et al., 2020a), NICE (Chen et al., 2021b), and VL-BERT (Su et al., 2020) propose the single-stream architecture to work on both images and text. ViLBERT (Lu et al., 2019) and LXMERT (T..

Training language models to follow instructions with human feedback (a.k.a. InstructGPT, 2022) 리뷰 목차 들어가며... Paradigms for Applying LLMs 들어가며... meta : Blender bot 3.0 google : LaMDA 실제 구글 개발자가 LaMDA가 감정이 있다고 하자, 해고당한 적 있음 https://medium.com/predict/does-googles-lamda-robot-experience-feelings-184fa300f9aa General AI가 오고 있는가 ? DALLI / ChatGPT .... : 오고 있는 중 아닐까 ? ChatGPT가 불러온 파장 https://meta.sta..

[2023 Winter Multimodal Seminar 3. Reasoning 1) Structure Modeling] Memory Fusion Network for Multi-view Sequential Learning 리뷰 (AAAI, 2018) 목차 0. 들어가기 전에 ... Reasoning이란 ? 1. Introduction 2. Methods 3. Experiments 4. Results 5. Conclusion 6. Code Review 0. 들어가기 전에 ... Reasoning이란 ? Reasoning은 일반적으로 task에 대한 여러 inferential steps를 통해 multimodal evidence로부터 knowledge을 구성하는 것을 목표로 한다 세부 챌린지로는 Struc..

3D human pose estimation in video with temporal convolutions and semi-supervised training 논문 리뷰 인턴할 때 읽은 논문인데 이제야 올리네요... ^^ Abstract fully convolutional model을 통해 비디오에서의 3D pose를 추정 label이 없는 비디오 데이터를 활용하기 위한 back projection 방법 소개(semi supervised training) unlabel 비디오에 대해 예측된 2D keypoint 부터 시작하여 3D pose를 예측하고 마지막으로 입력된 2D keypoint를 back project한다. 1. Introduction Dilated convolution을 이용한 tempor..

[Prompting] It’s Not Just Size That Matters:Small Language Models Are Also Few-Shot Learners 정리 (NAACL, 2021) 이 전에 작성했던 "나중에 읽을 논문들 / github repo들"이라는 포스트에 prompting 관련 논문을 읽고 싶다고 했었는데, 마침 랩 세미나 peer review를 하게 되어서,,, 먼저 이 논문을 제시해보았다 하지만 나의 발표가 아니기 때문에 간단히 정리하고 넘어가고자 한다 목차 0. 들어가기전에 ... : Prompting이란 ? 1. Introduction 2. Methods 3. Experiments & Results 4. Code Review 0. 들어가기전에 ... : Prompting이란..