CNN도 지금까지의 신경망과 같이 레고 블록처럼 계층을 쌓을 수 있으나, 합성곱 계층과 풀링 계층이 새롭게 등장한다.
지금까지 본 신경망은 인접하는 계층의 모든 뉴런과 결합되어 있었다. 이를 완전연결(Fully-Connected, 전결합)이라고 하며, 완전히 연결된 계층을 Affine계층이라는 이름으로 구현했다.
합성곱은 공학과 물리학에서 널리 쓰이는 수학적 개념으로, ‘두 함수 중 하나를 반전, 이동 시켜가며 나머지 함수와의 곱을 연이어 적분한다’ 라는 의미로 쓰인다.
반면 CNN에서는 일반적으로 아래와 같이 Conv-ReLU-Pooling 흐름으로 연결된다
CNN에서도 출력에 가까운 층에서는 지금까지의 Affine-ReLU 혹은 Affine-Softmax 조합을 그대로 사용한다.
합성곱 계층
CNN에서는 Padding, Stride 등의 고유의 용어가 등장한다.
또 각 계층 사이에는 3차원 데이터와 같이 입체적인 데이터가 흐른다는 점에서 완전연결 신경망과 다르다.
완전연결 계층의 문제점
완전연결 계층의 문제점은 ‘데이터의 형상이 무시’ 된다는 사실이다.
입력 데이터가 이미지인 경우, 이미지는 통상 세로-가로-색상(채널)로 구성된 3차원 데이터이지만, 완전연결 계층에 입력할 때는 3차원 데이터를 평평한 1차원 데이터로 평탄화해줘야 한다.
이미지는 3차원 형상이며, 이 형상에는 소중한 공간적 정보가 담겨 있다. 예를 들어 공간적으로 가까운 픽셀은 값이 비슷하거나, RGB의 각 채널은 서로 밀접하게 관련되어 있거나, 거리가 먼 픽셀끼리는 별 연관이 없는 등, 3차원 속에서 의미를 갖는 본질적인 패턴이 숨어있다. 그러나 완전연결 계층에서는 이러한 형상이 무시되고 모든 입력 데이터를 동등한 뉴런(같은 차원의 뉴런)으로 받아들인다.
반면, 합성곱 계층에서는 이미지의 형상을 유지한다. 이미지도 3차원 데이터로 입력 받고, 다음 계층에도 3차원 데이터로 전달한다. 그래서 CNN에서는 이미지처럼 형상을 가진 데이터를 제대로 이해할 가능성이 있다.
특징 맵(Feature map)
CNN에서는 합성곱 계층의 입출력 데이터를 특징 맵이라고도 한다.
입력 데이터를 입력 특징 맵, 출력 데이터를 출력 특징 맵이라고 하는 식이다.
합성곱 연산
합성곱 계층에서는 합성곱 연산을 수행한다. 합성곱 연산은 이미지 처리에서 말하는 필터 연산에 해당한다.
합성곱 연산의 예시
왼쪽부터 입력 데이터, 필터(커널), 출력 피처 맵
위와 같이 합성곱 연산은 입력 데이터에 필터(커널)를 적용한다.
이 예에서 입력 데이터는 세로-가로 방향(4, 4)의 형상을 가졌고 필터 역시 세로-가로 형상(3,3)을 갖는다.
합성곱 연산은 필터의 윈도우(회색 부분)를 일정 간격으로 이동해가며 입력 데이터에 적용한다.
합성곱 연산의 계산 순서
이 그림에서 보듯 입력과 필터에서 대응하는 원소끼리 곱한 후 그 총합을 구한다(이 계산을 단일 곱셉-누산, Fused multiply-add, FMA)라고 한다.
CNN에도 가중치 매개변수와 편향이 존재하는데, CNN에서는 필터의 매개변수가 가중치 역할을 한다.
아래처럼 필터를 적용한 후에 1x1 편향을 더해준다.
패딩
합성곱 연산을 수행하기 전에 입력 데이터의 주변을 특정 값(예컨대 0)으로 채우기도 한다. 이를 패딩이라 하며 합성곱 연산에서 자주 이용하는 기법이다.
패딩은 주로 출력 크기를 조정할 목적으로 사용된다. 예를 들어 4 x 4 입력 데이터에 3 x 3 필터를 적용하면 출력은 2 x 2가 되어 입력보다 2만큼 줄어든다. 이는 합성곱 연산을 몇 번이나 되풀이하는 심층 신경망에서는 문제가 될 수 있다. 이러한 사태를 막기위해 패딩을 적용하여 입력에 대한 출력의 크기를 유지한다. 한마디로 입력 데이터의 공간적 크기를 고정한 채로 다음 계층에 전달 할 수 있다.
