VGGNet (CNN architecture 기반 모델)

• VGGNet은 Visual Geometry Group Net의 약자로 이미지 분류 예측 문제를 위한 모델
• 네트워크 구조
  • 깊이에 따른 변화를 비교하기위해, 3x3의 작은 필터 크기를 사용했고, 모델 깊이와 구조에 변화를 주어 실험하였음
  • 레이어 개수에 따라 VGG16, VGG19로 불림
    • 8~16 convolution layer + 3 fully-connected layer
• 작동원리
  • 모든 convolution layer에 3x3 필터를 적용함
    • 3x3 필터를 3개 사용한 결과가 7x7 필터를 1개 사용한 결과보다 파라미터 수를 줄일 수 있다는 사실에 입각해 큰 필터 사용을 폐기함
  • FM_size는 동일하지만, 학습해야 할 파라미터(weight) 수가 줄어듦
    • 5x5 필터 1개에 의한 FM_size = 3x3 필터 2개에 의한 FM_size
      • n-5+1 = (n-3+1)-3+1
    • 7x7 필터 1개에 의한 FM_size = 3x3 필터 3개에 의한 FM_size
      • n-7+1 = ((n-3+1)-3+1)-3+1
  • ReLu를 여러 번 사용할 수 있음, Conv layer 필터 크기를 작게하고 레이어를 늘렸기 때문에 ReLe 비선형을 더 많이 사용할 수 있고 이는 decision function이 잘 학습될 수 있음
  • 다섯 개의 Max-Pooling layer 사용, Conv layer의 수와 관계없이 다섯 개의 고정된 pooling layer를 사용하였음
  • 설정
    • Dropout: 최초 두 개의 FCL에 0.5 비율로 적용
    • Learning rate: 최초 0.01에서 시작해 정확도 향상이 멈춤에 따라 감소시킴
    • Initialization: VGG-11을 적당히 학습시킨 값을 가지고 최초 4개의 convolution layer와 3개의 FCL에 초기화 목적으로 가중치를 적용하고 나머지 layer의 weight는 평균 0과 분산 0.01의 랜덤 값으로, bias는 0으로 설정함