DL.5 _ 자연어처리(NLP)

자연어 처리에서 등장하는 용어들 말뭉치(Corpus) : 특정한 목적을 가지고 수집한 텍스트 데이터 문서(Document) : 문장(Sentence)들의 집합 문장(Sentence) : 여러 개의 토큰(단어, 형태소 등)으로 구성된 문자열. 마침표, 느낌표 등의 기호로 구분 어휘집합(Vocabulary) : 코퍼스에 있는 모든 문서, 문장을 토큰화한 후 중복을 제거한 토큰의 집합 전처리(Preprocessing) 토큰화(Tokenization) 차원의 저주(Curse of Dimensionality) 불용어(Stop words) 어간 추출(Stemming) 표제어 추출(Lemmatization) 등장 횟수 기반의 단어 표현(Count-based Representation) 문서-단어 행렬(Document..