yuns

www.youtube.com/watch?v=NSjpECvEf0Y Attention 모델이 집중해서 학습해야 하는 곳까지도 모델이 학습 Explainability + model performance Graph Attention Neural Network node-edge로 구성된 그래프 데이터의 중요 node에 가중치를 부여하는 어텐션 메커니즘을 사용하여 구조를 학습하는 딥러닝 모델 Attention Text data & Recurrent Neural Network RNN은 sequential data의 학습에 적합한 신경망 모델 text data는 co-occurence와 sequential pattern을 고려한 분석이 필요로 한다. Seq2seq RNN encoder + RNN decoder Mach..

Text Encoding을 향상시키기 위하여 S-LSTM이 제안되었음 text를 graph로 변환한 뒤, representation을 학습하여 Graph-LSTM을 용이하게 함. S-LSTM model regards each word as a node in the graph and it adds a supernode. For each node, the word node could aggregate information from its adjacent words as well as the supernode. The supernode could aggregate information from all of the word nodes as well as itself. NLP Hidden states of wor..

Tree-LSTM의 두 가지 method는 graph에 적용이 쉽게 가능하다. Graph-structured LSTM[SIGKDD18]은 graph에 적용된 N-ary Tree-LSTM의 예시 중 하나 graph의 각 노드에는 최대 2개의 incoming edge가 있기 때문에 단순화된 버전 Variant of Graph LSTM[SIGKDD17] 은 relation extraction task에 기반으로 한 방법 graph와 Tree의 가장 큰 차이점은 edge에 label이 존재하는 사실 (수식 생략) Graph LSTM network - 의미론적 구문 분석 작업 처리를 위하여 제안 uses the confidence-driven scheme to adaptively select the startin..

LSTMs are used in a similar way as GRU through the propagation process based on a tree or a graph. Two extensions to the basic LSTM architecture The Child-Sum Tree-LSTM N-ary Tree-LSTM Each Tree-LSTM unit contains input and output gates $i_v$ and $o_v$, a memory cell $c_v$, and hidden state $h_v$ The Tree-LSTM unit abandons the single forget gate but uses a forget gate $f_{vk}$ for each child k,..

Introduction The trend to use the mechanism from RNNs like GRU ror LSTM in the propagation step to diminish the restictions from the vanilla GNN model and improve the effectiveness of the long-term information propagation across the graph. 6.1 Gated Graph Neural Networks GGNN which uses the Gate Recurrent Units (GRU) in the propagation step. unrolls the RNN for a fixed number of T steps and back..

spectral approach에서는 Laplacian eigenbasis을 이용하여 학습된 filter를 사용하게 되는데 이는 graph structure에 의존한다. spatial approach에서는 "define the convolution operation with differently sized neighborhoods and maintaining the local invariance of CNNs" 5.2.1 Neural FPS [NIPS18] Convolutional networks on graphs for learning molecular fingerprints Key Idea: degree에 따라 다른 weight matrices을 사용$$x=h_{v}^{t-1} + \sum_{i=1}..

여기서 convolution operation인 합성곱을 ($g_\theta$ ★ x) 와 같은 식으로 나타낸다. 5.1.1 Spectral Network convolution operation는 Fourier domain에서 정의된다. by computing the eigendecomposition of the graph Laplacian. a signal $x \in \mathbb{R}^N$( a scalar for each node)와 filter $g\theta = diga(\theta)$의 곱에 의해 나타낸다. $$g_\theta ★ x = Ug\theta(\Lambda)U^T x$$ U: the matrix of eigenvectors of the normalized graph Laplacia..

Graph Convolution Network는 크게 두가지 유형으로 나뉠 수 있다. Spectral Method 수학적인 수식을 이용하여 분석 Laplacian을 이용 푸리에 변환을 이용하여 인접노드들이 지나는 embedding vector들의 분포를 주파수 대역으로 변환 Spatial Method Inductive Learning supervised learning labeled training data만을 이용하여 학습 Transductive Learning unlabeled training data도 사용하여 prediction 진행