세상은 내가 정하는 대로 세상은 내가 정하는 대로

Multimodal transformers have made significant progress over the past few years, by pre-trained on large scale image and text pairs, then finetuned on downstream tasks. VisualBERT (Li et al., 2019), Unicoder-VL (Li et al., 2020a), NICE (Chen et al., 2021b), and VL-BERT (Su et al., 2020) propose the single-stream architecture to work on both images and text. ViLBERT (Lu et al., 2019) and LXMERT (T..

Training language models to follow instructions with human feedback (a.k.a. InstructGPT, 2022) 리뷰 목차 들어가며... Paradigms for Applying LLMs 들어가며... meta : Blender bot 3.0 google : LaMDA 실제 구글 개발자가 LaMDA가 감정이 있다고 하자, 해고당한 적 있음 https://medium.com/predict/does-googles-lamda-robot-experience-feelings-184fa300f9aa General AI가 오고 있는가 ? DALLI / ChatGPT .... : 오고 있는 중 아닐까 ? ChatGPT가 불러온 파장 https://meta.sta..

[2023 Winter Multimodal Seminar 3. Reasoning 1) Structure Modeling] Memory Fusion Network for Multi-view Sequential Learning 리뷰 (AAAI, 2018) 목차 0. 들어가기 전에 ... Reasoning이란 ? 1. Introduction 2. Methods 3. Experiments 4. Results 5. Conclusion 6. Code Review 0. 들어가기 전에 ... Reasoning이란 ? Reasoning은 일반적으로 task에 대한 여러 inferential steps를 통해 multimodal evidence로부터 knowledge을 구성하는 것을 목표로 한다 세부 챌린지로는 Struc..

당시에는 고통받으면서 공부했는데, 다 피가 되고 살이 되는구나.... ૮ ˃̣̣̥᷄ᴥ˂̣̣̥᷅ ა

자료구조의 선택 각각의 값이 서로 다른 값에 영향을 주지 않을 것 그리디 알고리즘으로 풀어낸 값이 모든 경우의 수에서 최적의 해일 것 주어진 상위의 값이 하위 값의 배수일 것 그리디 알고리즘은 현재 상황을 기준으로 적합한 해를 찾는 방법이지 최적의 해를 찾는 방법은 아니다. 최적의 해를 찾기 위해서는 동적계획법(Dynamic Programming)을 사용한다. Greedy VS DP Greedy 문제 해결 방안 나열된 값의 정렬이 매우 중요하다. 즉, 경우의 수(주어질 지, 내가 만들어야될지는 모르겠지만)를 잘 정렬하여 현재 상황이 원하는 순서대로 나타날 수 있도록 해야한다. 문제의 최적의 부분 문제를 결정한다 Prove that it is always safe to make the greedy choi..

[Data Structure/python] Hash Table (DAT, Collision, Open Addressing, Seperate Chaining) Direct Address Table (DAT) key:value 쌍에서 key값 그 자체를 index로 넣는 방법 문제점 Key값에 다양한 자료형 넣을 수 없음 (string, ... ) 메모리 낭비 -> key가 1, 20000001, 300001일 때 최소 20000001까지 사용됨 이 문제를 해결하기 위한 Hash Table Hash Function을 이용하여 각 Key값에 index번호 부여 이 Hash Function을 어떻게 정의하느냐에 따라 효율성 달라짐 좋은 Hash Function의 기준 연산 속도가 빨라야 하며, 충돌(Collis..

3D human pose estimation in video with temporal convolutions and semi-supervised training 논문 리뷰 인턴할 때 읽은 논문인데 이제야 올리네요... ^^ Abstract fully convolutional model을 통해 비디오에서의 3D pose를 추정 label이 없는 비디오 데이터를 활용하기 위한 back projection 방법 소개(semi supervised training) unlabel 비디오에 대해 예측된 2D keypoint 부터 시작하여 3D pose를 예측하고 마지막으로 입력된 2D keypoint를 back project한다. 1. Introduction Dilated convolution을 이용한 tempor..

[Prompting] It’s Not Just Size That Matters:Small Language Models Are Also Few-Shot Learners 정리 (NAACL, 2021) 이 전에 작성했던 "나중에 읽을 논문들 / github repo들"이라는 포스트에 prompting 관련 논문을 읽고 싶다고 했었는데, 마침 랩 세미나 peer review를 하게 되어서,,, 먼저 이 논문을 제시해보았다 하지만 나의 발표가 아니기 때문에 간단히 정리하고 넘어가고자 한다 목차 0. 들어가기전에 ... : Prompting이란 ? 1. Introduction 2. Methods 3. Experiments & Results 4. Code Review 0. 들어가기전에 ... : Prompting이란..