ML lab 08 DeepLearning

lec 08-1: 딥러닝의 기본 개념: 시작과 XOR

옛날 연구원들이 컴퓨터를 만들어 위 세가지 로직을 실행시켜봤을 때,
or 와 and는 구현시킬 수 있었으나 xor은 구현하지 못했다.
하지만 paul에 의해 새로운 방법론이 제기돼었다.

paul에 의해 multi NN에서 output에서부터 input쪽으로 error를 보내면서 error를 고치는 backpropagation이라는 방법이 제시됐다. 처음에 묻히다가 Hinton에 의해 재발견되어 주목을 받기 시작했다.

하지만 backpropagation에서 다른 문제가 발생한다.
많은 layer를 가진 NN에서 backpropagation이 에러를 잘 전달하지 못한다는 것이다.

나중에는 SVM이나 RandomForest같은 간단한 알고리즘이 더 높은 정확도를 갖는 결과를 갖게 되었다.

lec 08-2: 딥러닝의 기본 개념2: Back-propagation 과 2006/2007 '딥'의 출현

CIFAR이라는 단체에 의해 뉴럴 네트워크는 큰 발전을 하게 된다.

2006년과 2007년에 이름을 딥러닝으로 바꾸고 위 2개의 논문에 의해 큰 발전을 하게 된다.
첫번째는 초기값에 대한 중요성을 강조했다.
두번째는 더 복잡한 layer에 더 높은 효과를 갖는다는 것을 강조했다.

앞으로 더 자세히 발전된 딥러닝에 대해 알아볼 것이다.