Embedding
VIT(Vision Transformer) 논문리뷰
이번 포스팅은 이전에 작성한 Transformer 기술을 이미지에 적용한 논문인 Vision Transformer 논문에 대한 기술을 설명하려고 한다. - 아래는 ViT논문 원본링크 https://arxiv.org/pdf/2010.11929.pdf 요즘 Vision 분야의 Sota의 대부분이 이 논문을 기반으로 하고 있다. 기존 CNN 네트워크보다 더 좋은 성능을 보여주고 있다. 그럼 ViT논문인 AN IMAGE IS WORTH 16X16 WORDS : TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE논문에서 이미지를 어떻게 Transformer에 적용했는지 중심으로 리뷰를 시작한다. Vision Transformer (ViT) 이란? 기존에 Transformer 기술은 자연..
![[Attention Is All You Need_논문1]Transformer _ Embedding, Positional Encoding](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2Fnb7fS%2FbtrKTPmk8uc%2FKkiXHNdifrsbFjVQZIRRXK%2Fimg.png)
[Attention Is All You Need_논문1]Transformer _ Embedding, Positional Encoding
오늘은 자연어처리 모델중 번역 분야에서 유명한 논문인 Transformer를 정리하는 글이다. 논문 링크 : https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org Transformers..