Rich feature hierarchies for accurate object detection and semantic segmentation

R-CNN 구조

1. 이미지를 input으로 넣는다.
2. 2000개의 영역(Bounding Box)를 Selective Search 알고리즘을 통해 추출하여 잘라낸다.(Cropping)
3. CNN모델에 넣기 위해 같은 사이즈(227 x 227 pixel size)로 찌그러뜨린다(Warping)
4. 2000개의 Warped image를 각각 CNN 모델에 넣는다.
5. 각각 Classification을 진행하여 결과를 도출

R-CNN 의 세가지 모듈

1. Grenerating category independent region proposals

• 카테고리와 무관하게 물체의 영역을 찾는 모듈

2. Extracts a fixed length feature vector from CNN

• 각각의 영역으로부터 고정된 크기의 Feature Vector 를 뽑아내는 Large Convolutional Network

3. Class specific linear SVMs

• Classification 을 위한 선형 지도 학습 모델 Support Vector Machine(SVM)

Region Proposals

• R-CNN은 Region Proposal 단계에서 Selective Search 알고리즘을 사용한다.
• Selective Search 알고리즘은 Segmentation 분야에서 많이 쓰이는 알고리즘이다.
  • Selective Search` 알고리즘은 객체와 주변간의 색감(Color), 질감(Texture)차이, 다른 물체에 애워쌓여있는지(Enclosed) 여부 등을 파악해서 다양한 전략으로 물체의 위치를 파악하는 알고리즘이다.
• R-CNN에서는 Selective Search 알고리즘을 통해 한 이미지에서 2000개의 Region을 뽑아내고, 모두 CNN에 넣기 위해 227 x 227 로 resize 하는 작업을 거친다.

CNN(based AlexNet)

• CNN은 AlexNet의 구조을 base로 사용하였다.
• AlexNet Network 마지막 부분을 Detection을 위한 Class 수 만큼 바꾼다.
• Object Detection용 Dataset을 넣어 Fine-Tuning을 진행한다.
• 각각의 region proposal로부터 4096-dimentional feature vector를 뽑아내고, Fixed-length Feature Vector를 만들어 내는 과정을 거친다.

Bounding box regression

• Selective Search로 만들어낸 Bounding Box는 정확하지 않기 때문에 물체를 정확히 감싸도록 조정하는 선형회귀 모델(Bounding Box Regression)을 사용한다.

R-CNN의 Speed bottleneck

1. 모든 입력 이미지 N에 대해서 region proposals 2000개 생성한다.
2. 2000개의 region proposals 각각에 대해 CNN feature vector추출(N imags*2000)한다.
3. 다음 3가지 과정에 대해 분리 되어 동작한다.

• CNN을 통한 feature vector 추출
• SVM classifier를 통한 image classification
• Bounding box regression