yuns

mangkyu.tistory.com/61 Model-Free Algorithm 기존의 Model-Based Algorithm에서 Model은 MDP에서의 Transition Model을 의미한다. 즉, 어떤 상태에서 어떤 행동을 한다고 할 경우, 다음 상태가 될 확률 Model-Based Algorithm: 환경에 대하여 잘 알고 있으며, 우리의 행동에 따른 환경의 변화를 아는 알고리즘이며 Agent가 Action을 통하여 Expected Sum of Future reward를 최대로 하는 Policy Function을 찾고자 한다. 이때, Environment에 대하여 잘 알지 못하고, Environment가 알려주는 Next State와 Reward를 얻게 된다. Exploration을 통하여 Tri..

https://sumniya.tistory.com/18 dnddnjs.gitbooks.io/rl/content/neural_network.html DeepMind "Playing Atari with Deep Reinforcement Learning" What is DQN? 강화학습에서 agent는 환경을 MDP를 통하여 이해 하는데 table형태로 학습을 모든 state에 대하여 action-value function을 저장하고 update시켜나가면 학습이 상당히 느려진다. 이에 따라, nonlinear function apprximator로 approximate시켜 학습한다. Action-Value Function(q-value)를 approximate하는 방법으로 DNN이 택한 RL은 Deep Rei..

강화학습은 MDP의 문제를 푸는 것 https://sumniya.tistory.com/3 참조 Markov Process의 정의 확률론에서 Markov Process는 메모리를 갖지 않는 이산 시간 확률 과정 확률 과정: 시간이 진행함에 따라 상태가 확률적으로 변화하는 과정 확률 분포를 따르는 random variable 가 discrete한 time interval 마다 값을 생성해내는 것을 의미 time interval이 discrete하고 현재의 state가 이전 state에만 영향을 받는 확률 과정을 Markov Process라 함 Markov Property 어떤 시간에 특정 state를 도달하든 그 이전에 어떤 state를 거쳐왔든 다음 state로 갈 확률은 항상 같다 $Pr(S_{t+1} ..

Author: Xiao Wang, Meiqi Zhu, Deyu Bo, Peng Cui, Chuan Shi, Jian Pei Introduction Graph Convolutional Networks(GCNs): a class of neural networks designed to learn graph data. applications: social networks, biology networks, citation networks. Message-passing manner: feature aggregation node aggregates feature information from its topological neighbors in each convolutional layer. (이웃 정보로부터 featu..

망의 깊이를 1001 Layer까지 늘려서 설계 https://m.blog.naver.com/laonple/221259295035 skip connection: ResNet의 layer의 입력을 layer의 출력에 바로 연결시키는 작업 출력 $H(x)=F(x)+x$ weight layer를 통해 나온 결과와 그 전 결과를 더하여 relu사용 기존 network들은 $H(x)$을 얻기 위하여 학습 ResNet $F(x)$가 0이 되는 방향으로 학습 $F(x) = H(x)-x$이기 때문에 $F(x)를 학습한다는 것은 나머지(residual)을 학습한다는 의미 x가 그대로 skip connection이 되기 때문에 연산의 증가가 발생하지 않음 $F(x)$가 몇개의 layer에 포함하게 할지 선택할 수 있음 f..

VGGNet: network의 깊이가 어떤 영향을 주는지 연구를 하기 위하여 설계된 network https://bskyvision.com/504 network깊이의 영향만을 알기 위하여 모든 convolution kernel size를 3$\times$3로 설정하여 convolution의 갯수를 늘리는 방식으로 테스트를 진행하였다. 19층의 layer로 구성됨 "Local Response Normalization" network가 깊어질수록 성능이 좋아지는 것을 확인하였다. input 224$\times$22$\times$3 image 1층(conv1_1) 64개의 3$\times$3$\times$3 filter kernel로 입력이미지를 convolution. zero padding = 1 convo..

Abstract GNN aim to model the local graph structures and capture the hierarchical patterns by aggregating the information from neighbors with stackable network modules. stack가능한 network module을 사용하여 neighbor들에 대한 정보를 aggregate함으로써 local graph structures을 모델링하고 hierarrchical pattern을 캡처하는 것을 목표로 함. Introduction Application anomaly detection molecular structure generation social network analysis r..

Xiang Wang, Xiangnan He, Yixin Cao, Meng Liu, Tat-Seng Chua [GitHub] https://github.com/xiangwang1223/knowledge_graph_attention_network 1. Introduction Recommendation System - 추천 시스템에서 사용되는 방법은 크게 두 가지(Collaborative Filtering, Supervised Learning) 앙아 Collaborative Filteringfocuses on histories of similar users Supervised Learningemphasize similar items Collaborative Filtering과 Supervised Learning