[DataEngineer] 데이터 엔지니어 총 정리

그럼 먼저 데이터 엔지니어란 무엇이고 조직에서 어떤역할을 하는지에 대해 알아보자. 데이터 엔지니어(Data Engineer, DE) 데이터 엔지니어는 "데이터 영역을 전문으로 담당하는 엔지니어" 라고 정의 할 수 있다. 구체적인 역할은 산업별, 회사별로 데이터 엔지니어가 하는 업무과 기술이 다르지만, 공통적으로는 "내-외부 원천 데이터를 수집, 가공, 적재하여 데이터가 흐르는 파이프라인을 설계 및 구축하는 역할" 이라고 생각할 수 있다. 조금 더 쉽게 설명하면 "데이터를 활용하기 쉽게 환경을 만들어주는 역할" 이라고 생각하면 된다. DataEngineer Roadmap - 2022 아래는 데이터 엔지니어 관련 로드맵 이미지이다. 데이터 엔지니어의 역할 데이터 엔지니어가 하는 업무중 가장 핵심은 데이터의 ..