1. Introduction

[ NLP ] Transformer (self-attention based architectures)

• large text corpus에 대해 pre-train하고, smaller task-specific dataset에 대해 fine-tune하는 것이 dominant approach

[ CV ] convolutional architectures

• CNN-like architecture에 self-attention을 사용하는 시도가 있었지만, not yet been scaled efficiently
• 여전히 ResNet-like architecture가 SOTA

[ 방법론 요약 ]

• standard transformer를 최소한의 변형만 하여 image에 그대로 적용
• image를 patch로 쪼갠 후 patch들의 linear embedding sequence를 transformer에 input으로 줌
• image patch는 NLP에서의 token(words)와 같게 취급
• supervised image classification에 실험
• ImageNet과 같은 mid-sized dataset에 적용할 시 기존 모델보다는 낮을 성능을 보여줌.
• Transformer는 CNN과 달리 translation equivariance나 locality 같은 inductive bias가 부족하기 때문에 generalization이 잘 안되는 것
• 14M-300M의 larger dataset으로 학습한 결과, large scale training trumps inductive bias
• 충분한 양의 data로 pre-train한 ViT는 더 적은 data의 task로 transfer 됐을 때 좋은 결과를 보임

3. Method

3.1. Vision Transformer (ViT)

• standard Transformer가 1D token embedding sequence를 input으로 받는다

• 2D image를 1D로 embedding 하기 위해, 한 image

  

  를 image patch xp로

  

  P: resolution, C: Channel, N: 총 patch 수(HW/P^2)