1. Introduction

[ 문제상황 ] covolution network의 발전, 그러나 internal operation에 대해서는 이해가 부족

• 내부 작동에 대한 이해가 부족하다면 convnet의 발전은 trial-and-error에 지나지 않을 것

[ 제안 ] model layer의 feature map에 대한 visualization technique

[ 방법론 ]

• Deconvolutional network (decovnet) : feature activation을 input pixel space로 projection
• sensitivity analysis : input image의 부분부분을 가리면서 scene의 어떤 부분이 classification에 영향을 미치는지 분석

[ 실험 ]

• ImageNet에 대해 여러가지 architecture를 실험
• generalization ability: 맨 마지막 softmax classifier만 retrain시켜 확인

2. Approach

[ ConvNet 모델 ]

• input & output : color 2D input image xi → C개의 class에 대한 probability vector yi
• 한 개의 layer의 구성
  • 직전 layer output에 대한 convolution
  • linear function RELU( max(x,0));
  • [optional] local neighborhood에 대해 max pool
  • [optional] feature map에 걸쳐 normalization (local contrast operation)
• final layer: softmax classifer

2.1. Visualization with DeconvNet

[ 목표 ] intermediate layer에서 feature activity를 해석

[ 아이디어 ] deconvnet을 통해 map activities back to input pixel space

• input pattern의 어떤 부분이 activation을 일으켰는지 확인