TIL_220517_머신러닝 프로젝트 기초

Convolutional Neural Networks (합성곱 신경망)

합성곱(Convolution) :

• 컴퓨터 비전(Computer Vision, CV) 분야에서 많이 쓰이는 이미지 처리 방식
• 합성곱 신경망(CNN) : 르쿤 교수, 합성곱을 이용한 신경망 디자인
• 이미지 처리에서 가장 보편적으로 사용되는 네트워크 구조

 

합성곱(Convolution)

 

합성곱 계층(Convolution layer)

• 필터(Filter 또는 Kernel)를 한 칸씩 오른쪽으로 움직이며 합성곱 연산
• 이동하는 간격을 스트라이드(Stride)
• 특성 맵 크기가 줄어드는 것을 방지하기 위한 패딩(Padding 또는 Margin)
• 1개의 필터를 사용

특성 맵이 줄어듬

특성 맵의 크기가 동일

 

여러개의 필터를 이용한 합성곱

• 3차원(가로, 세로, 채널)의 이미지
• 입력과 출력
  
  • 입력 이미지 크기: (10, 10, 3)
  • 필터의 크기: (4, 4, 3)
  • 필터의 개수 :2
  • 출력 특성 맵의 크기: (10, 10, 2)

 

---

 

CNN의 구성

합성곱 신경망(CNN)

합성곱 신경망(CNN) 은 합성곱 계층(Convolution layer)과 완전연결 계층(Dense layer)을 함께 사용

 

- 합성곱 계층 + 활성화 함수 + 풀링을 반복하며 점점 작아지지만 핵심적인 특성들을 뽑아냄 - 풀링 계층(Pooling layer)은 특성 맵의 중요부분을 추출하여 저장하는 역할 - 풀링 계층을 지나면 완전연결 계층과 연결이 되어야 하는데 풀링을 통과한 특성 맵은 2차원, 완전연결 계층은 1차원이므로 연산이 불가 : 평탄화 계층(Flatten layer)을 사용해서 2차원을 1차원으로 펼치는 작업

 

Max pooling의 예시

- 2x2 크기의 풀 사이즈(Pool size)로 스트라이드 2의 Max pooling 계층을 통과할 경우 2x2 크기의 특성 맵에서 가장 큰 값들을 추출하는 방식

 

Average pooling의 예시

- Max pooling에서는 2x2 크기의 특성 맵에서 최대 값을 추출했다면 Average pooling은 2x2 크기의 특성 맵에서 평균 값을 추출하는 방식

 

Max pooling과 Average pooling의 비교

 

평탄화 계층(Flatten layer)

- 평탄화 계층을 통과하게 되면 완전연결 계층에서 행렬 곱셈을 할 수 있고 마찬가지로 완전연결 계층(=Dense=Fully connected) + 활성화 함수의 반복을 통해 점점 노드의 개수를 축소, 마지막에 Softmax 활성화 함수를 통과 후 출력층으로 결과를 출력

 

 

---

 

다양한 CNN 종류

 

벤치마크 표

 

---

 

Transfer Learning (전이 학습)

• 전이 학습이라는 개념은 인간이 학습하는 방법을 모사
• 과거에 문제를 해결하면서 축적된 경험을 토대로 그것과 유사한 문제를 해결하도록 신경망을 학습시키는 방법을 전이 학습
• 전이 학습은 비교적 학습 속도가 빠르고 (빠른 수렴), 더 정확하고, 상대적으로 적은 데이터셋으로 좋은 결과를 냄
• 전이학습은 아래 그림과 같이 유명한 네트워크들과 같이 미리 학습시킨 모델(pretrained models)을 가져와 새로운 데이터셋에 대해 다시 학습시키는 방법

 

유명한 네트워크

 

---

 

Recurrent Neural Networks (순환 신경망)

RNN은 은닉층이 순차적으로 연결되어 순환구조를 이루는 인공신경망의 한 종류

음성, 문자 등 순차적으로 등장하는 데이터 처리에 적합한 모델

합성곱 신경망과 더불어 최근 들어 각광 받고 있는 신경망 구조

길이에 관계없이 입력과 출력을 받아들일 수 있는 구조

 

 

---

 

Generative Adversarial Network (생성적 적대 신경망)

서로 적대(Adversarial)하는 관계의 2가지 모델(생성 모델과 판별 모델)을 동시에 사용하는 기술

 

* GAN은 위조지폐범과 이를 보고 적발하는 경찰의 관계로 설명할 수 있습니다. - 생성모델 (위조지폐범): 경찰도 구분 못하는 진짜같은 위조지폐를 만들자! - 판별모델 (경찰): 진짜 지폐와 위조 지폐를 잘 구분해내자! - 이와같이 계속 진행되면 위조지폐범은 더욱 더 정교하게, 경찰은 더욱 더 판별을 잘하면서 서로 발전의 관계가 되어 원본과 구별이 어려운 가짜 이미지가 만들어지게 됩니다.

 

 

 

출처 스파르타코딩클럽