신경망 구조

신경망 구성 요소

• 층: 딥러닝의 구성 단위
  • 하나 이상의 텐서를 입력으로 받아 하나 이상의 텐서를 출력하는 데이터 처리 모듈
  • 대부분 가중치라는 층의 상태를 가짐
  • 층마다 적절한 텐서 포맷과 데이터 처리 방식이 다름
    • 2D 텐서가 저장된 간단한 벡터 데이터 : 완전 연결층이나 밀집 층이라고도 불리는 밀집 연결 층에 의해 처리
    • 3D 텐서로 저장된 시퀀스 데이터 : 보통 LSTM 같은 순환 층에 의해 처리
    • 4D 텐서로 저장되어 있는 이미지 데이터 : 일반적으로 2D 합성곱 층에 의해 처리
• 모델: 층의 네트워크
  • 딥러닝 모델은 층으로 만든 비순환 유향 그래프
  • 네트워크 구조는 가설 공간을 정의함
  • 네트워크 구조를 선택함으로써 가설 공간을 입력 데이터에서 출력 데이터로 매핑하는 일련의 특정 텐서 연산으로 제한
• 손실 함수와 옵티마이저: 학습 과정을 조절하는 열쇠
  • 손실 함수 or 목적 합수: 훈련하는 동안 최소화될 값 (성공 지표), 여러 개의 출력을 내는 신경망은 여러 개의 손실 함수를 가질 수 있음 (Binary crossentropy, categorical crossentropy, MSE, CTC)
  • 옵티마이저: 손실 함수를 기반으로 네트워크가 어떻게 업데이트 될지 결정, 여러 개의 손실 함수가 있을 경우 경사 하강법 과정은 하나의 스칼라 손실값을 기준으로 함(평균을 내서 하나의 스칼라 양으로 합침)

구성 요소 간의 관계