ResNet

망의 깊이를 1001 Layer까지 늘려서 설계

https://m.blog.naver.com/laonple/221259295035

• skip connection: ResNet의 layer의 입력을 layer의 출력에 바로 연결시키는 작업
• 출력 $H(x)=F(x)+x$
• weight layer를 통해 나온 결과와 그 전 결과를 더하여 relu사용
  • 기존 network들은 $H(x)$을 얻기 위하여 학습
  • ResNet $F(x)$가 0이 되는 방향으로 학습
  • $F(x) = H(x)-x$이기 때문에 $F(x)를 학습한다는 것은 나머지(residual)을 학습한다는 의미
  • x가 그대로 skip connection이 되기 때문에 연산의 증가가 발생하지 않음
  • $F(x)$가 몇개의 layer에 포함하게 할지 선택할 수 있음
  • fully-connected layer 이외에 convolution layer도 가능
  • $x$와 $H(x)$의 dimension이 다르면 dimension을 맞추기 위하여 parameter $w$들을 추가하여 학습

  

  ResNet의 구조

   

• 개선된 ResNet 구조
  • 기존의 ResNet는 $H(x)=ReLU(F(x)+x)$ --> activation function에 의해 blocking 발생
  • 기존 $x_{l+1} = x_l + F(x_l)$의 식을 $x_{l+2} = x_{l+1} + F(x_{l+1})$와 $x_{l+2} = x_l + F(x_l)+F(x_{l+1})$의 식으로 나타낸다.
  • $x_L = x_l  + \sum_{i=l}^{L-1}F(x_i)$

  

  •