좀 지난 이야기긴 한데, 촘스키 선생께서 기계학습이 성과에 대해 일갈하셨다고 한다.

그간 많은 변화가 있었으니, 최근에는 촘스키 선생의 견해도 달라졌으지도 모르겠다.

http://www.tor.com/2011/06/21/norvig-vs-chomsky-and-the-fight-for-the-future-of-ai/

이에 대한 peter norvig 의 반응

On Chomsky and the Two Cultures of Statistical Learning

뉴튼도 중력에 의한 운동법칙은 (거의)완성했지만 중력의 원인은 알지 못했고,  상대성이론도 시간이 무엇인지는 설명하지 않는다.

어쨋든, 이런 촘스키식의 비판은 오히려 반갑다. 

지능에 대한 현재 딥러닝의 접근법에 분명 한계는 존재하며 섣부른 환원주의야 말로 위험한 것이라 생각하기 때문이다.  

아무튼, 아름답지 않은가.

<이미지 출처: https://colah.github.io/posts/2015-08-Understanding-LSTMs/>

예전에 패턴인식책에서 봤던 이 그림. 제대로 알아보자

http://slideplayer.com/slide/8218292/

* Each neuron in the first hidden layer forms a hyperplane in the input pattern space.

* A neuron in the second hidden layer can form a hyper-region from

the outputs of the first layer neurons by performing an AND

operation on the hyperplanes. These neurons can thus approximate

the boundaries between pattern classes.

* The output layer neurons can then combine disjoint pattern classes

into decision regions made by the neurons in the second hidden

layer by performing logical OR operations.

(https://books.google.co.kr/books?isbn=0070482926)

아래 그림도 참고

http://t-robotics.blogspot.kr/2015/05/deep-learning.html#.WQZapNLyjAM

http://www.iro.umontreal.ca/~vincentp/

추가로, 

No more than three layers in binary threshold feedforward networks are required to form arbitrarily complex decision regions.

Proof: By Construction

* Consider the n–dimensional case: X ∈ R n .

* Partition the desired decision regions into small hypercubes.

* Each hypercube requires 2n neurons in the first layer 

  (one for each side of the hypercube).

* One neuron in the second layer takes the logical AND of the

  outputs from the first layer neurons. Outputs of second

  layer neurons will be high only for points within the hypercube.

* Hypercubes are assigned to the proper decision regions by

connecting the outputs of second layer neurons to third

layer neurons corresponding to the decision region that the

hypercubes represent by taking the logical OR of

appropriate second layer outputs.

(https://books.google.co.kr/books?isbn=0070482926)

그럼, 히든 레이어와 노드수는 어떻게 결정할까

http://images.slideplayer.com/32/9894611/slides/slide_63.jpg

=> details

OR

How to choose the number of hidden layers and nodes in a feedforward neural network?