자연어처리

    [Attention Is All You Need_논문2]Transformer _ Encoder, Decoder
    논문리뷰

    [Attention Is All You Need_논문2]Transformer _ Encoder, Decoder

    이번 포스팅은 이전에 작성한 Transformer에 이어서 Encoder, Decoder 부분에 대한 세부 기술들을 설명하려고 한다. Tranfomer의 개요와 input값에 대한 설명은 아래 링크에서 확인가능하다. https://zeuskwon-ds.tistory.com/87 [논문_Attention Is All You Need]Transformer _ Embedding, Positional Encoding 오늘은 자연어처리 모델중 번역 분야에서 유명한 논문인 Transformer를 정리하는 글이다. 논문 링크 : https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models a.. z..

    [Attention Is All You Need_논문1]Transformer _ Embedding, Positional Encoding
    논문리뷰

    [Attention Is All You Need_논문1]Transformer _ Embedding, Positional Encoding

    오늘은 자연어처리 모델중 번역 분야에서 유명한 논문인 Transformer를 정리하는 글이다. 논문 링크 : https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org Transformers..

    DL.6 _ 자연어처리, word2vec, fastText, 순환신경망, RNN, LSTM, GRU, Attention
    DataScience/NLP

    DL.6 _ 자연어처리, word2vec, fastText, 순환신경망, RNN, LSTM, GRU, Attention

    Word2Vec 2013년에 고안된 Word2Vec 말 그대로 단어를 벡터로(Word to Vector) 나타내는 방법으로 가장 널리 사용되는 임베딩 방법 중 하나이다 Word2Vec은 특정 단어 양 옆에 있는 두 단어(window size = 2)의 관계를 활용하기 때문에 분포 가설을 잘 반영하고 있다. Word2Vec에는 CBoW와 Skip-gram의 2가지 방법이 있습니다. - CBoW 와 Skip-gram 주변 단어에 대한 정보를 기반으로 중심 단어의 정보를 예측하는 모델인지 => CBoW(Continuous Bag-of-Words) 중심 단어의 정보를 기반으로 주변 단어의 정보를 예측하는 모델인지 => Skip-gram FastText fastText 는 Word2Vec 방식에 철자(Charac..

    DL.5 _ 자연어처리(NLP)
    DataScience/NLP

    DL.5 _ 자연어처리(NLP)

    자연어 처리에서 등장하는 용어들 말뭉치(Corpus) : 특정한 목적을 가지고 수집한 텍스트 데이터 문서(Document) : 문장(Sentence)들의 집합 문장(Sentence) : 여러 개의 토큰(단어, 형태소 등)으로 구성된 문자열. 마침표, 느낌표 등의 기호로 구분 어휘집합(Vocabulary) : 코퍼스에 있는 모든 문서, 문장을 토큰화한 후 중복을 제거한 토큰의 집합 전처리(Preprocessing) 토큰화(Tokenization) 차원의 저주(Curse of Dimensionality) 불용어(Stop words) 어간 추출(Stemming) 표제어 추출(Lemmatization) 등장 횟수 기반의 단어 표현(Count-based Representation) 문서-단어 행렬(Document..

티스토리툴바