Attention
![[Attention Is All You Need_논문2]Transformer _ Encoder, Decoder](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FbDCSPe%2FbtrKZ0OQsn7%2Fpzs6MJpvSz5uVNojt5iL4k%2Fimg.png)
[Attention Is All You Need_논문2]Transformer _ Encoder, Decoder
이번 포스팅은 이전에 작성한 Transformer에 이어서 Encoder, Decoder 부분에 대한 세부 기술들을 설명하려고 한다. Tranfomer의 개요와 input값에 대한 설명은 아래 링크에서 확인가능하다. https://zeuskwon-ds.tistory.com/87 [논문_Attention Is All You Need]Transformer _ Embedding, Positional Encoding 오늘은 자연어처리 모델중 번역 분야에서 유명한 논문인 Transformer를 정리하는 글이다. 논문 링크 : https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models a.. z..
DL.6 _ 자연어처리, word2vec, fastText, 순환신경망, RNN, LSTM, GRU, Attention
Word2Vec 2013년에 고안된 Word2Vec 말 그대로 단어를 벡터로(Word to Vector) 나타내는 방법으로 가장 널리 사용되는 임베딩 방법 중 하나이다 Word2Vec은 특정 단어 양 옆에 있는 두 단어(window size = 2)의 관계를 활용하기 때문에 분포 가설을 잘 반영하고 있다. Word2Vec에는 CBoW와 Skip-gram의 2가지 방법이 있습니다. - CBoW 와 Skip-gram 주변 단어에 대한 정보를 기반으로 중심 단어의 정보를 예측하는 모델인지 => CBoW(Continuous Bag-of-Words) 중심 단어의 정보를 기반으로 주변 단어의 정보를 예측하는 모델인지 => Skip-gram FastText fastText 는 Word2Vec 방식에 철자(Charac..