다중 퍼셉트론의 학습 방법

• 역전파 알고리즘(Back propagation)
  • 데이터 집합에 대해, 이들을 모두 옳게 분류할 수 있는 다층 퍼셉트론을 찾는 것 (가중치 벡터 u와 v 값을 찾는것)
  • 이때 j번째 요소만 1이고 나머지 요소는 활성 함수에 따라 0 또는 -1을 갖는 벡터임
  • 다층 퍼셉트론의 출력 값을 o=(o1,o2,...,om)^T라 할때, 실제 테이터 집합과 비교하여 발생하는 오류를 정의할 수 있음
  • 학습 알고리즘의 역할: 오류 E를 줄이는 방향으로 매개 변수인 u와 v의 값을 갱신해야 하므로, 데이터 하나에 대한 h+1 시점에서 u와 v값은 다음과 같음
    • v(h+1)=v(h)-p(미분E/v)
    • u(h+1)=u(h)-[(미분E/u)
  • 은닉층의 j번째 node와 출력층의 k번째 node 사이의 가중치 Vjk의 갱신값 (편미분을 통해 계산됨)
  • 입력층의 i번째 node와 은닉층의 j번째 node 사이의 가중치 uij의 갱신값
• 실제 적용을 위해 고려할 점
  • 다층 퍼셉트론의 구조: 사용할 은닉층의 수, 은닉층에 포함될  node의 수 p를 결정해야 함
  • 가중치의 값과 학습률 등의 매개변수: 어떤 해에 수렴하게 될 지, 어떤 속도로 수렴하게 될 지를 결정하는 요소, 문제에 따라 달라지기 때문에 다양한 조건을 이용하여 비교
  • 종료 조건: 일정 반복 수를 정하고 그 반복에 도달하면 종료하거나, 오류값 E에 대한 임계치를 정하거나, 검증을 위한 별도의 데이터 집합 X'의 사용 등을 통해 종료를 결정