딥러닝의 필요성

• 기존 shallow 알고리즘의 한계
  • 자연 데이터의 복잡성: 말, 시각 등은 계층적 구조를 지님
  • 계층적 구조란 같은 수준의 객체들이 서로 관계를 가지면서 한 차원 높은 복잡도의 객체를 형성하는 구조
    • 예) 분자 -> 세포 -> 조직 -> 유기체
  • 기존 shallow 알고리즘들은 계층적 구조 데이터를 학습하기에는 그 구조가 지나치게 간단함
  • 따라서 자연 데이터의 복잡성을 따라갈 학습 능력이 안됨
• Deep learning의 필요성
  • 보통 수집할 수 있는 것은 가장 상층인 level 1에 해당하는 데이터이고, 복잡한 자연 데이터를 학습하기 위해선 그에 상응하는 학습 능력을 갖춘 알고리즘이 필요함
  • 1회 학습시키는 shallow 알고리즘보다 모델 여러개를 계층적으로 학습시키는 DL이 강력한 학습 능력을 보임
  • DL 발전 원
    • 하드웨어: NVIDIA, AMD 등의 대용량 고속 병렬칩을 개발, NVIDIA의 CUDA, GPU보다 10배 이상 빠른 구글의 TPU
    • 데이터: 인터넷 성장으로 인해 다양한 데이터셋 수집 가능
    • 알고리즘: 신경망의 층에 잘 맞는 활성화 하마수, 층별 사전훈련을 불필요하게 만든 가중치 초기화 방법, RMSProp과 Adam 같은 더 좋은 최적화 방법
• DL은 AI의 핵심
  • 단순함: 복잡하고 불안정한 많은 엔지니어링 과정을 엔드-투-엔드로 훈련시킬 수 있는 모델로 바꾸어줌
  • 확장성: GPU 또는 TPU에서 쉽게 병렬화할 수 있기 때문에 무어의 법칙 혜택을 볼 수 있음
  • 다용도와 재사용성: 이전 머신 러닝 방법과는 다르게 딥러닝 모델은 처음부터 다시 시작하지 않고 추가되는 데이터로도 훈련 가능