Chapter 6. 인공 신경망, 그 한계는 어디까지인가?

Universal Approximation Theorem (왜 하필 인공신경망인가)MLP는 \(f_2(f_1(WX+b))\)처럼 행렬 곱과 Activation 함수가 결합된 단순한 형태이다. 하지만 이론상으로, 히든 레이어 한개만 있으면 어떤 연속 함수든 만들어 낼 수 있다. 이것이 Universal Approximation Theorem 이며, 인공 신경망의 성공 요인이다.예를 들어, 키가 입력이고 출력이 몸무게인 함수를 만든다고 가정하자.위 그림 처럼 데이터 1개 당 2개의 노드만 있으면 loss를 0으로 만들 수 있다. 예를 들어, x=160, y= 60 이면, 가장 위의 노드를 통해서 60이 출력되고, 아래 모든 노드들은 step activation function에 의해 모두 0처리 되므로  x..