전체 글
-
[GNN] 3. Graph Representation LearningAI/GNN 2022. 1. 19. 17:00
[GNN] 3. Graph Representation Learning 1. Graph란? - 왜 Graph? - Graph의 종류 - Graph의 표현 - Graph Tasks - Graph의 Motif 2. GNN 이전의 Machine Learning을 활용한 Graph 학습 - Node Feature Eigenvector centrality Betweenness centrality Closeness centrality ..... - Link Feature Distance-based feature Local neighborhood overlap Global neighborhood overlap - Graph Feature Graphlet kernel Weisfeiler-Lehman Kernel 3. G..
-
Inductive Representation Learning on Large Graphs (GraphSAGE) 정리AI/GNN 2022. 1. 19. 14:59
Inductive Representation Learning on Large Graphs (GraphSAGE) 정리 들어가기 전에... https://asidefine.tistory.com/159 Semi-Supervised Classification with Graph Convolutional Networks (GCN) 정리 및 코드 분석 0. 들어가기 전에 1) Graph Representation 먼저 GCN을 설명하기 앞서 필요한 개념들을 설명하겠습니다. 그래프는 일반적으로 행렬로 표현합니다. 첫번째로 인접 행렬은 노드 간의 연결 여부를 표현합 asidefine.tistory.com 커다란 그래프에서 일반적으로 노드들 사이의 관계는 인접 행렬(adjacency matrix)의 형태로 주어집니다. ..
-
Graph Attention Network (GAT) 정리AI/GNN 2022. 1. 17. 16:41
Graph Attention Network (GAT) 정리 들어가기 전에.... Attention & Transformer https://asidefine.tistory.com/153 Seq2Seq & Attention & Transformer [논문 목록] 1. Seq2Seq : Sequence to Sequence Learning with Neural Networks (https://arxiv.org/abs/1409.3215) 2. Attention : Neural Machine Translation by Jointly Learning to Align and Translate (ht.. asidefine.tistory.com GCN https://asidefine.tistory.com/159 Semi..
-
Word Embedding 3 : Deep Contextualized Word Representations (ELMo) 정리AI/NLP 2022. 1. 17. 16:40
Deep Contextualized Word Representations (ELMo) 정리 들어가기 전 ... Word Embedding https://asidefine.tistory.com/152 Word Embedding 01 (One-hot Encoding / Word2Vec ) 정리 [논문 목록] 1. Word2Vec : Efficient Estimation of Word Representations in Vector Space (https://arxiv.org/abs/1301.3781) 들어가기 앞서 컴퓨터는 텍스트 그 자체보다는 숫자를 더 잘 처리합니다 따라서,.. asidefine.tistory.com https://asidefine.tistory.com/154 Word Embedding 0..
-
Fully convolutional networks for semantic segmentation (FCN) 정리AI/Computer Vision 2022. 1. 15. 22:47
Fully convolutional networks for semantic segmentation (FCN) 정리 - FCN = Fully Convolutional Network : classifcation을 수행하는 FC layer (Fully Connected Layer)없이, 오직 convolution으로만 모델 구성! -> semantic segmentation을 수행한다! - 이 논문에서는 모든 부분을 크게 (1) Fully convolutional networks와 (2) semantic segmentation 두 부분으로 나눠서 설명한다. Introduction과 Related Work 내에서도 이렇게 크게 두 개로 나눠서 설명하므로 유념할 것! (1) 이 논문에서 Fully Convolut..
-
[GNN] 1. Graph란?AI/GNN 2022. 1. 6. 14:01
[GNN] 1. Graph란? 1. Graph란? - 왜 Graph? - Graph의 종류 - Graph의 표현 - Graph Tasks - Graph의 Motif 2. GNN 이전의 Machine Learning을 활용한 Graph 학습 - Node Feature Eigenvector centrality Betweenness centrality Closeness centrality ..... - Link Feature Distance-based feature Local neighborhood overlap Global neighborhood overlap - Graph Feature Graphlet kernel Weisfeiler-Lehman Kernel 3. Graph Representation Le..
-
Semi-Supervised Classification with Graph Convolutional Networks (GCN) 정리 및 코드 분석AI/GNN 2022. 1. 6. 14:01
0. 들어가기 전에 1) Graph Representation 먼저 GCN을 설명하기 앞서 필요한 개념들을 설명하겠습니다. 그래프는 일반적으로 행렬로 표현합니다. 첫번째로 인접 행렬은 노드 간의 연결 여부를 표현합니다. 차수 행렬은 각 대각 행렬에 어떤 노드의 차수 정보, 즉 연결 edge의 개수만을 표현합니다. 라플라시안 행렬은 차수 행렬에서 인접 행렬을 빼게 되면서 차수 행렬의 정보와 인접행렬의 정보를 모두 담게 됩니다. 식으로 나타내면 위와 같습니다. 하지만 이런 표현 방식은, 전체 노드의 개수가 많아질수록 행렬이 너무 커지기 때문에 이후에 그래프 임베딩이라는 개념을 통해 더 작은 차원으로 줄여서 사용합니다. 라플라시안 행렬을 좀 더 자세히 보겠습니다. 라플라시안 행렬은 단순히 차이만을 구할 수도 ..
-
Word Embedding 01 (One-hot Encoding / Word2Vec ) 정리AI/NLP 2021. 12. 31. 19:54
[논문 목록] 1. Word2Vec : Efficient Estimation of Word Representations in Vector Space (https://arxiv.org/abs/1301.3781) 들어가기 앞서 컴퓨터는 텍스트 그 자체보다는 숫자를 더 잘 처리합니다 따라서, 자연어 처리에서는 텍스트를 숫자로 바꾸는 여러 기법을 사용합니다. 가장 기본적인 방법으로 원 핫 인코딩이 있습니다. 원 핫 인코딩은 표현하고자 하는 단어를 1로, 그렇지 않은 단어들은 0으로 표현하며 한 단어를 의미하는 벡터의 차원은 단어 집합의 크기가 됩니다. 각 단어는 하나의 고유한 원 핫 벡터로 표현됩니다. 하지만 원 핫 인코딩에는 각 단어 벡터 간의 관계, 즉 의미상의 유사성을 표현할 수 없다는 한계가 있습니다. ..