인공신경망

    DL.6 _ 자연어처리, word2vec, fastText, 순환신경망, RNN, LSTM, GRU, Attention

    Word2Vec 2013년에 고안된 Word2Vec 말 그대로 단어를 벡터로(Word to Vector) 나타내는 방법으로 가장 널리 사용되는 임베딩 방법 중 하나이다 Word2Vec은 특정 단어 양 옆에 있는 두 단어(window size = 2)의 관계를 활용하기 때문에 분포 가설을 잘 반영하고 있다. Word2Vec에는 CBoW와 Skip-gram의 2가지 방법이 있습니다. - CBoW 와 Skip-gram 주변 단어에 대한 정보를 기반으로 중심 단어의 정보를 예측하는 모델인지 => CBoW(Continuous Bag-of-Words) 중심 단어의 정보를 기반으로 주변 단어의 정보를 예측하는 모델인지 => Skip-gram FastText fastText 는 Word2Vec 방식에 철자(Charac..

    DL.1.1 _ 인공신경망이란, 퍼셉트론 알고리즘

    딥러닝의 역사 많은 사람들이 딥러닝이 최근에 개발이 된 기술이라고 많이 생각한다. 하지만 과거부터 존재했다. 신경망 개요 1950년대 고양이 신경세포의 실험을 통해 얻어진 신경망 아이디어는 오늘날 다층신경망(MLP, multilayer perceptron)의 발전으로 매우 강력한 머신러닝 기술 중 한 가지가 되었다. 이제는 머신러닝에서 독립하여 딥러닝이라는 학문으로 발전하여 단순 계산만 잘 하던 컴퓨터를 사물인식, 분할기술, 자연어 처리 등은 컴퓨터가 잘 못하는 영역까지 사람보다 뛰어난 성과를 보이며 발전하고 있다. 왜 신경망이 다시 대두되었는가? 핵심 알고리즘의 발전, Framework의 발전, CUDA (Gpu library, 연산 속도 증가), ImageNet과 같은 Dataset의 발전 등 이런 ..