pandas기초 _ 데이터 전처리(합치기(concat, merge), Groupby)

◎ pandas로 데이터 합치기 우리가 효과적인 데이터 분석을 하기 위해서는 여러개의 파일을 하나로 합치는 것이 필요하다. pd.concat() -> concatenate pd.merge -> Merge ▷ Concat(concatenate) concat은 '더한다' 혹은 '붙인다'라는 의미로 생각하면 이해가 편하다. 예를 들어, 2개의 문자열을 + 연산자를 이용해 "붙일" 수 있다. data.frame도 열이나 행을 기준으로 더할 수 있습니다. 간단한 예시를 보자. 인덱스가 같은경우 열방향의 병합이 default(행방향으로 하려면 axis=1 옵션추가 import pandas as pd df1 = pd.DataFrame([['A', 'B'], ['C', 'D'],columns=list('1','2'))..

→2021.05.19

Python

pandas기초 _ Feature Engineering(String replace, Apply 사용법)

◎ Feature Engineering이란 Feature Engineering 은 도메인 지식과 창의성을 바탕으로, 데이터셋에 존재하는 Feature들을 재조합하여 새로운 Feature를 만드는 것이다. 위 그림처럼 2개의 feature를 가진 데이터가 있다면, 해당 feature를 조합하여 (+) 새로운 feature를 만들어 낸 다음, 이를 분석에 사용 할 수 있을 것이다. 통계 분석 혹은 머신러닝, 더 나아가 딥러닝까지 대부분의 분석은 데이터에 있는 패턴을 인식하고, 해당 패턴들을 바탕으로 예측을 하기 때문에, 더 좋은 성능을 위하여 더 새롭고, 더 의미있는 패턴을 제공하는 것이 궁극적인 Feature engineering의 목적이다. - 데이터 불러오기 import pandas as pd df =..

→2021.05.18

Python

pandas기초 _ 데이터 전처리(EDA란, Data Preprocessing)

◎ Pandas로 데이터 셋을 불러오기 - Description을 통해 데이터셋에 대한 정보를 파악한다. 행과 열의 수 열에 헤더가 있는지 ("데이터 이름"이 있는지?) 결측 데이터 (Missing data)가 있는지 확인 원본의 형태를 확인하기 : 우리가 기대하던 형태가 아닐 수도 있다. 데이터셋을 확인하는 방법. (Colab 에서 read_csv) import pandas as pd # ktng_data_url = 'https://ds-lecture-data.s3.ap-northeast-2.amazonaws.com/kt%26g/kt%26g_0.csv' # pandas라이브러리의 read_csv로 csv파일 변수에 저장 df = pd.read_csv(ktng_data_url) df.head() 칼럼 추..

→2021.05.15

IT이야기

[컴퓨터] 01. 컴퓨터란 무엇일까?

"""다양한 강의와 자료, 논문을 참고하였으며 개인적인 공부를 위해 그리고 컴퓨터 공부를 시작하는 분들을 위해 도움이 되고자 작성한 글입니다. 불법적 or 합법적으로 퍼가서 사용 하는 것 모두 환영합니다.""" 1) 당신에게 물었습니다. 이 질문을 당신에게 물어본다면 당신은 무엇이라고 답할 건가요? 만약 내가 게임을 좋아하고 게임을 하기 위해서 컴퓨터를 사용한다면 "게임기" 문서작업위주로 컴퓨터를 사용하고 있으면 "문서작업,저장기계" 1인 방송으로 영상작업과 업로드를 자주 사용하면 "영상편집기" 이렇게 컴퓨터가 할 수 있는 일이 많아지면서 각자 내가 주로 사용하는 용도에 따른 컴퓨터의 정의가 달리질 것입니다. 그러나 가장 중요한 것은 기본입니다. 컴퓨터의 기본이 되는 기능은 변함이 없으며, 그에 따른 기..

→2021.05.12

일상

티스토리 첫 게시물...

Hello~!! 안녕하세요. 저는 한국에서 데이터 분석을 전공하고 학생들에게 코딩을 가르치고 있습니다. 제가 블로그를 만든 이유는 하루의 경험과 배운 지식을 정리하고 기억하기 위해 블로그를 만들게 되었습니다. 저의 주 언어는 "Python"이고 나의 보조 언어는 "R" 과 "SQL" 입니다. 저는 데이터 사이언스, 인공지능_머신러닝(딥러닝), 컴퓨터 비젼에 대해 관심이 많습니다. 저의 취미는 운동, 여행과 소통입니다. 아직 블로그 초보자이지만 많은 글을 써보도록 하겠습니다. Zeus's 학습법 이미 갖고 있는 데이터나 주변에서 쉽게 찾을 수 있는 데이터를 복습하고 좋아하는 분야에 대한 데이터 사이언스를 하면, 훨씬 즐겁고 보람 있게 공부할 수 있을 것이라고 생각합니다. 그리고 어쩌면 남들이 보지 못하는 ..