세상은 내가 정하는 대로 세상은 내가 정하는 대로

[Story Generation Study Week 01 : Fundamental of Text Generation] GPT-3 : Language Models are Few-Shot Learners (2020) Review [Story Generation Study Week 01 : Fundamental of Text Generation] GPT-1: Improving Language Understanding by Generative Pre-Training (2018) GPT-2: Language Models are Unsupervised Multitask Learners (2019) GPT-3: Language Models are Few-Shot Learners (2020) 방학 중 내가 너무너무너무..

Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks (CycleGAN) 정리 1. Introduction Image-to-image translation은 짝진 형태의 이미지 train 세트를 이용해 인풋 이미지와 아웃풋 이미지를 매핑하는 것이 목표인, 컴퓨터 비전과 그래픽의 한 분야입니다. 하지만 많은 태스크에 있어서 짝이 지어진 학습 데이터를 얻는 것이 불가능합니다. Image-to-image translation의 대표적인 모델인 Pix2pix는 GAN loss를 합친 목적 함수를 이용하여 성능을 높였지만, training data가 pair로 존재해야만 한다는 한계점이 존재합니다. 따라서 CycleGAN 논..

2023.12.27 업데이트  - ChatGPT도 등장한지 벌써 1년이나 되었습니다. GPT-3과 ChatGPT 이후로 NLP 분야에서도 흐름이 엄청 빠르게 바뀌었기 때문에 예전에 기록해두었던 논문 목록을 업데이트 하면 좋을 것 같다는 생각에 추가해두었습니다.- 'NLP 논문 공부 순서'로 블로그 유입이 많기도 하고, 여쭤보시는 분들도 있어서 저의 경우 NLP 공부를 어떻게 했었는지 (학부생 시절) 몇 자 적습니다. 궁금한 점 있으면 댓글로 남겨주셔도 됩니다!  1. 아예 인공지능 분야에 대해서 모르는 분이시라면 머신러닝, 수학부터 차근차근 공부하시다가 딥러닝 공부하시는 게 좋을 것 같습니다. 딥러닝도 비전이나 자연어처리, 음성 처리 등 다양한 분야가 있다보니 먼저 기초부터 단단히 하시고 세부 분야로 파..

NLP task 정리 (GLUE / SQuAD/RACE) 자연어처리 논문들에서 많이 보이는 Benchmark Dataset들에 대해서 틈틈이 정리해보려고 한다. GLUE 모델을 설계할 때 가장 중요한 것 중 하나는 '모델을 어떻게 평가할 것인가'입니다. 이에 맞게 테스트셋을 구축하고 테스트셋에 대한 평가 지표를 체계적으로 설계함으로써 원하는 태스크에 대한 모델의 성능을 적절하게 평가할 수 있습니다. 평가 방법이 비교적 명확하고 표준화 되어 있는 CV와는 달리 NLP의 경우에는 언어와 태스크에 따른 모델 평가 방법이 제대로 표준화되어 있지 않았습니다. 또한 전이 학습(Transfer Learning)과 관련한 연구가 활발히 NLP에 적용됨에 따라 특정 문제만을 해결하기 위한 Single task model..

* Standford의 CS224w 강의와 그에 대한 정리들, GNN 분야의 Survey paper들 등 참고할 paper나 사이트 내 나름대로 정리하는 포스팅 https://tobigs.gitbook.io/tobigs-graph-study/?fbclid=IwAR3K37ktpocRI7228D-1p6V8TB5E1o9_QcdFB4VqBbBOlYXL2qob8xSOQ-w Tobigs Graph Study - Tobigs Graph Study Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering tobigs.gitbook.io https://velog.io/@tobigs-gnn1213?tag=CS224W tobigs-gnn12..

Inductive Representation Learning on Large Graphs (GraphSAGE) 정리 들어가기 전에... https://asidefine.tistory.com/159 Semi-Supervised Classification with Graph Convolutional Networks (GCN) 정리 및 코드 분석 0. 들어가기 전에 1) Graph Representation 먼저 GCN을 설명하기 앞서 필요한 개념들을 설명하겠습니다. 그래프는 일반적으로 행렬로 표현합니다. 첫번째로 인접 행렬은 노드 간의 연결 여부를 표현합 asidefine.tistory.com 커다란 그래프에서 일반적으로 노드들 사이의 관계는 인접 행렬(adjacency matrix)의 형태로 주어집니다. ..

Graph Attention Network (GAT) 정리 들어가기 전에.... Attention & Transformer https://asidefine.tistory.com/153 Seq2Seq & Attention & Transformer [논문 목록] 1. Seq2Seq : Sequence to Sequence Learning with Neural Networks (https://arxiv.org/abs/1409.3215) 2. Attention : Neural Machine Translation by Jointly Learning to Align and Translate (ht.. asidefine.tistory.com GCN https://asidefine.tistory.com/159 Semi..

Deep Contextualized Word Representations (ELMo) 정리 들어가기 전 ... Word Embedding https://asidefine.tistory.com/152 Word Embedding 01 (One-hot Encoding / Word2Vec ) 정리 [논문 목록] 1. Word2Vec : Efficient Estimation of Word Representations in Vector Space (https://arxiv.org/abs/1301.3781) 들어가기 앞서 컴퓨터는 텍스트 그 자체보다는 숫자를 더 잘 처리합니다 따라서,.. asidefine.tistory.com https://asidefine.tistory.com/154 Word Embedding 0..