yuns

강화학습은 MDP의 문제를 푸는 것 https://sumniya.tistory.com/3 참조 Markov Process의 정의 확률론에서 Markov Process는 메모리를 갖지 않는 이산 시간 확률 과정 확률 과정: 시간이 진행함에 따라 상태가 확률적으로 변화하는 과정 확률 분포를 따르는 random variable 가 discrete한 time interval 마다 값을 생성해내는 것을 의미 time interval이 discrete하고 현재의 state가 이전 state에만 영향을 받는 확률 과정을 Markov Process라 함 Markov Property 어떤 시간에 특정 state를 도달하든 그 이전에 어떤 state를 거쳐왔든 다음 state로 갈 확률은 항상 같다 $Pr(S_{t+1} ..

Author: Xiao Wang, Meiqi Zhu, Deyu Bo, Peng Cui, Chuan Shi, Jian Pei Introduction Graph Convolutional Networks(GCNs): a class of neural networks designed to learn graph data. applications: social networks, biology networks, citation networks. Message-passing manner: feature aggregation node aggregates feature information from its topological neighbors in each convolutional layer. (이웃 정보로부터 featu..

망의 깊이를 1001 Layer까지 늘려서 설계 https://m.blog.naver.com/laonple/221259295035 skip connection: ResNet의 layer의 입력을 layer의 출력에 바로 연결시키는 작업 출력 $H(x)=F(x)+x$ weight layer를 통해 나온 결과와 그 전 결과를 더하여 relu사용 기존 network들은 $H(x)$을 얻기 위하여 학습 ResNet $F(x)$가 0이 되는 방향으로 학습 $F(x) = H(x)-x$이기 때문에 $F(x)를 학습한다는 것은 나머지(residual)을 학습한다는 의미 x가 그대로 skip connection이 되기 때문에 연산의 증가가 발생하지 않음 $F(x)$가 몇개의 layer에 포함하게 할지 선택할 수 있음 f..

VGGNet: network의 깊이가 어떤 영향을 주는지 연구를 하기 위하여 설계된 network https://bskyvision.com/504 network깊이의 영향만을 알기 위하여 모든 convolution kernel size를 3$\times$3로 설정하여 convolution의 갯수를 늘리는 방식으로 테스트를 진행하였다. 19층의 layer로 구성됨 "Local Response Normalization" network가 깊어질수록 성능이 좋아지는 것을 확인하였다. input 224$\times$22$\times$3 image 1층(conv1_1) 64개의 3$\times$3$\times$3 filter kernel로 입력이미지를 convolution. zero padding = 1 convo..

Abstract GNN aim to model the local graph structures and capture the hierarchical patterns by aggregating the information from neighbors with stackable network modules. stack가능한 network module을 사용하여 neighbor들에 대한 정보를 aggregate함으로써 local graph structures을 모델링하고 hierarrchical pattern을 캡처하는 것을 목표로 함. Introduction Application anomaly detection molecular structure generation social network analysis r..

www.youtube.com/watch?v=NSjpECvEf0Y Attention 모델이 집중해서 학습해야 하는 곳까지도 모델이 학습 Explainability + model performance Graph Attention Neural Network node-edge로 구성된 그래프 데이터의 중요 node에 가중치를 부여하는 어텐션 메커니즘을 사용하여 구조를 학습하는 딥러닝 모델 Attention Text data & Recurrent Neural Network RNN은 sequential data의 학습에 적합한 신경망 모델 text data는 co-occurence와 sequential pattern을 고려한 분석이 필요로 한다. Seq2seq RNN encoder + RNN decoder Mach..

Text Encoding을 향상시키기 위하여 S-LSTM이 제안되었음 text를 graph로 변환한 뒤, representation을 학습하여 Graph-LSTM을 용이하게 함. S-LSTM model regards each word as a node in the graph and it adds a supernode. For each node, the word node could aggregate information from its adjacent words as well as the supernode. The supernode could aggregate information from all of the word nodes as well as itself. NLP Hidden states of wor..

Tree-LSTM의 두 가지 method는 graph에 적용이 쉽게 가능하다. Graph-structured LSTM[SIGKDD18]은 graph에 적용된 N-ary Tree-LSTM의 예시 중 하나 graph의 각 노드에는 최대 2개의 incoming edge가 있기 때문에 단순화된 버전 Variant of Graph LSTM[SIGKDD17] 은 relation extraction task에 기반으로 한 방법 graph와 Tree의 가장 큰 차이점은 edge에 label이 존재하는 사실 (수식 생략) Graph LSTM network - 의미론적 구문 분석 작업 처리를 위하여 제안 uses the confidence-driven scheme to adaptively select the startin..