분류 전체보기
-
Semi-Supervised Classification with Graph Convolutional Networks (GCN) 정리 및 코드 분석AI/GNN 2022. 1. 6. 14:01
0. 들어가기 전에 1) Graph Representation 먼저 GCN을 설명하기 앞서 필요한 개념들을 설명하겠습니다. 그래프는 일반적으로 행렬로 표현합니다. 첫번째로 인접 행렬은 노드 간의 연결 여부를 표현합니다. 차수 행렬은 각 대각 행렬에 어떤 노드의 차수 정보, 즉 연결 edge의 개수만을 표현합니다. 라플라시안 행렬은 차수 행렬에서 인접 행렬을 빼게 되면서 차수 행렬의 정보와 인접행렬의 정보를 모두 담게 됩니다. 식으로 나타내면 위와 같습니다. 하지만 이런 표현 방식은, 전체 노드의 개수가 많아질수록 행렬이 너무 커지기 때문에 이후에 그래프 임베딩이라는 개념을 통해 더 작은 차원으로 줄여서 사용합니다. 라플라시안 행렬을 좀 더 자세히 보겠습니다. 라플라시안 행렬은 단순히 차이만을 구할 수도 ..
-
Word Embedding 01 (One-hot Encoding / Word2Vec ) 정리AI/NLP 2021. 12. 31. 19:54
[논문 목록] 1. Word2Vec : Efficient Estimation of Word Representations in Vector Space (https://arxiv.org/abs/1301.3781) 들어가기 앞서 컴퓨터는 텍스트 그 자체보다는 숫자를 더 잘 처리합니다 따라서, 자연어 처리에서는 텍스트를 숫자로 바꾸는 여러 기법을 사용합니다. 가장 기본적인 방법으로 원 핫 인코딩이 있습니다. 원 핫 인코딩은 표현하고자 하는 단어를 1로, 그렇지 않은 단어들은 0으로 표현하며 한 단어를 의미하는 벡터의 차원은 단어 집합의 크기가 됩니다. 각 단어는 하나의 고유한 원 핫 벡터로 표현됩니다. 하지만 원 핫 인코딩에는 각 단어 벡터 간의 관계, 즉 의미상의 유사성을 표현할 수 없다는 한계가 있습니다. ..
-
Word Embedding 02 ( Glove / FastText ) 정리AI/NLP 2021. 12. 31. 17:12
[논문 제목] 1. GloVe : global vectors for word representation (https://nlp.stanford.edu/pubs/glove.pdf) 2. FastText : Enriching Word Vectors with Subword Information (https://arxiv.org/abs/1607.04606) 들어가기 앞서 https://asidefine.tistory.com/152 Word Embedding 01 (One-hot Encoding / Word2Vec ) 정리 [논문 목록] 1. Word2Vec : Efficient Estimation of Word Representations in Vector Space (https://arxiv.org/abs/1..
-
Seq2Seq & Attention & Transformer 정리AI/NLP 2021. 12. 31. 14:37
[논문 목록] 1. Seq2Seq : Sequence to Sequence Learning with Neural Networks (https://arxiv.org/abs/1409.3215) 2. Attention : Neural Machine Translation by Jointly Learning to Align and Translate (https://arxiv.org/abs/1409.0473) 3. Transformer : Attention is All You Need (https://arxiv.org/abs/1706.03762) Seq2Seq RNN 계열의 모델로, Encoder과 Decoder로 구성되어 있음 1) Encoder: 입력된 단어의 연속열(= Source sentence)을 고정된 ..
-
노션 레퍼런스etc. 2021. 12. 28. 23:41
: 노션을 활용하여 직관적으로 정리가 잘 되어있는 페이지들 발견할 때마다 추가 예정 https://recruit.goorm.io/
-
시스템 프로그래밍 실습 14주차 : Synchronization 2System Programming/Ubuntu Linux 2021. 11. 24. 22:52
시스템 프로그래밍 실습 14주차 : Synchronization 2 [목차] - Deadlock - Deadlock Prevention 1. Deadlock이란? : 둘 이상의 프로세스가 다른 프로세스가 점유하고 있는 자원을 서로 기다릴 때 무한 대기에 빠지는 상황 / 교착 상태라고도 한다 - P1과 P2가 리소스 A, B 둘 다를 얻어야 한다고 가정할 때, t1에 P1이 리소를 A를 얻고 P2가 리소스 B를 얻었다면 t2때 P1은 리소스 B를, P2는 리소스 A를 기다리게 됨. 하지만 서로 원하는 리소스가 상대방에게 할당되어 있기 때문에 이 두 프로세스는 무한정 기다리게 됨. Deadlock 발생 조건 1) Mutal Exclusion (상호배제) : 한 번에 프로세스 하나만 해당 자원을 사용할 수 있..
-
Git / Github / Markdown 공부 2etc. 2021. 11. 21. 20:17
https://koreapy.tistory.com/200?category=0 git 사용하기 더보기 어제 대학 입학 후 처음으로 독서실을 등록했다. 어제는 이제 깃허브에 포토폴리오를 만들기 위해서 생활코딩 깃허브 강좌를 들으며 깃을 익혔고, 오늘도 이어서 깃 공부를 하려고 한다. koreapy.tistory.com https://koreapy.tistory.com/180?category=0 git 사용법 push / branch / clone 등 git 개념 uxgjs.tistory.com/182 www.zerocho.com/category/Git/post/581042fdcae2d100152ceae6 개발을 하다보면 깃허브는 결국 필수적으로 다룰 줄 알아야만 하는 필수 관문이 되어버립니다. 물론 저는 개..