DataScience
DL.3 _ keras 하이퍼파라미터, 활동함수(Activation function)
○ 목차 활동 함수 Step Function Sigmoid Function ReLU + hyperbolic tangent (Tanh) + Leaky ReLU + Softmax 과적합을 방지하는 하이퍼 파라미터 튜닝 Weight Decay Weight constriant Drop-Out Learning rate 활성함수 (Activation function) 신경망 회로에서, 한 노드에 대해 입력값을 다음 노드에 보낼지 말지에 대해 결정하는 함수. - 계단함수 (Step function) 0을 기준으로 0보다 작으면 데이터를 보내지 않고, 0보다 같거나 크면 데이터를 보내는 유형의 함수이다. 다만 해당 함수는 미분할 수 없으므로, 실제로는 사용되지 않는다. - Sigmoid Function 위의 Step ..
DL.1.1 _ 인공신경망이란, 퍼셉트론 알고리즘
딥러닝의 역사 많은 사람들이 딥러닝이 최근에 개발이 된 기술이라고 많이 생각한다. 하지만 과거부터 존재했다. 신경망 개요 1950년대 고양이 신경세포의 실험을 통해 얻어진 신경망 아이디어는 오늘날 다층신경망(MLP, multilayer perceptron)의 발전으로 매우 강력한 머신러닝 기술 중 한 가지가 되었다. 이제는 머신러닝에서 독립하여 딥러닝이라는 학문으로 발전하여 단순 계산만 잘 하던 컴퓨터를 사물인식, 분할기술, 자연어 처리 등은 컴퓨터가 잘 못하는 영역까지 사람보다 뛰어난 성과를 보이며 발전하고 있다. 왜 신경망이 다시 대두되었는가? 핵심 알고리즘의 발전, Framework의 발전, CUDA (Gpu library, 연산 속도 증가), ImageNet과 같은 Dataset의 발전 등 이런 ..
ML _ 교차검증(k-fold, Randomized Search CV, GridSearchCV)
◎ 교차검증 지금까지는 데이터를 훈련/검증/테스트 세트로 나누어 학습을 진행해 왔습니다.(이 방법은 hold-out 교차검증 이라고 합니다.) 이 방법은 어떤 문제점을 가지고 있을까요? 학습에 사용가능한 데이터가 충분하다면 문제가 없겠지만, 훈련세트의 크기가 모델학습에 충분하지 않을 경우 문제가 될 수 있습니다. 검증세트 크기가 충분히 크지 않다면 예측 성능에 대한 추정이 부정확할 것입니다. 이것 외에 다른 문제점도 있습니다. 여러분은 앞으로 수많은 기계학습 알고리즘을 사용할 것인데 모든 문제에 적용가능한 최고의 학습 모델은 없다는 것을 알고 계시지요? 우리 문제를 풀기위해 어떤 학습 모델을 사용해야 할 것인지? 어떤 하이퍼파라미터를 사용할 것인지? 이러한 문제가 모델선택(Model selection) ..
ML _ 모델 성능 평가지표
◎ 머신러닝 모델 성능 평가지표 Condusion Matrix 정밀도, 재현율 ROC curve, AUC 점수 분류기의 정확한 성능을 판단하기 위해서는 정확도 외에 다른 평가지표를 같이 사용해야 한다. 특히 정밀도(precision), 재현율(recall) 을 살펴보아야 한다. Scikit-Learn User Guide — Classification Report 정확도(Accuracy)는 전체 범주를 모두 바르게 맞춘 경우를 전체 수로 나눈 값이다. 정밀도(Precision)는 Positive로 예측한 경우 중 올바르게 Positive를 맞춘 비율이다. 재현율(Recall, Sensitivity)은 실제 Positive인 것 중 올바르게 Positive를 맞춘 것의 비율이다. F1점수(F1 score)는..
분산(Variance), 표준편차, 공분산(Covariance), 상관계수, Span, 기저(Basis), Rank
◎ 분산(Variance) 분산(variance)은 관측값에서 평균을 뺀 값을 제곱하고, 그것을 모두 더한 후 전체 개수로 나눠서 구한다. 즉, 차이값의 제곱의 평균이다. 관측값에서 평균을 뺀 값인 편차를 모두 더하면 0이 나오므로 제곱해서 더한다. 분산은, 데이터가 얼마나 퍼져있는지를 측정하는 방법입니다. 이는 각 값들의 평균으로부터 차이의 제곱 평균입니다. 즉, 분산을 구하기 위해서는 일반적으로 평균을 먼저 계산하여야 합니다. - 모분산 σ2은 모집단의 분산이다. 관측값에서 모평균을 빼고 그것을 제곱한 값을 모두 더하여 전체 데이터 수 n으로 나눈 것이다. - 표본분산 s2은 표본의 분산이다. 관측값에서 표본 평균을 빼고 제곱한 값을 모두 더한 것을 n-1로 나눈 것이다. ◎ 표준편차 분산을 구하는 ..
벡터와 매트릭스, 스칼라, Determinant, Cramer's rule
◎ 벡터란?선형대수의 기본 조각은 벡터이며 이러한 벡터를 우리가 무엇인지 아는 것이 굉장히 중요하다.하지만 벡터를 생각하는 세가지 관점이 존재한다.물리학 : 방향을 나타내는 물리량컴퓨터과학 : 순차리스트이며 이러한 성질을 이용해서 여러가지 데이터를 모델링한다.수학 : 수학에서의 벡터는 이들 모두를 포함하는 개념으로 (벡터합, 스칼라 곱)이라는 개념이 성립하면 수학에서의 벡터이다. 벡터를 그릴때 위치는 중요하지 않다. 왜냐하면 위치를 바꾸어도 벡터의 크기와 방향은 변하지 않기 때문이다. 또 다른 말로는 벡터를 다른곳으로 이동(Translation)해도 그 벡터의 의미는 변하지 않는다.두 벡터가 길이가 같고 같은 방향을 가르킬 때 그 두 벡터를 서로 상등(Equal)하다 라고 할 수있다.- 벡터의 크기벡터의..