Position Embedding

    VIT(Vision Transformer) 논문리뷰

    이번 포스팅은 이전에 작성한 Transformer 기술을 이미지에 적용한 논문인 Vision Transformer 논문에 대한 기술을 설명하려고 한다. - 아래는 ViT논문 원본링크 https://arxiv.org/pdf/2010.11929.pdf 요즘 Vision 분야의 Sota의 대부분이 이 논문을 기반으로 하고 있다. 기존 CNN 네트워크보다 더 좋은 성능을 보여주고 있다. 그럼 ViT논문인 AN IMAGE IS WORTH 16X16 WORDS : TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE논문에서 이미지를 어떻게 Transformer에 적용했는지 중심으로 리뷰를 시작한다. Vision Transformer (ViT) 이란? 기존에 Transformer 기술은 자연..