노드

DB(DataBase)
[Hadoop] HDFS 기본 특징와 노드 종류
하둡 HDHS HDFS는 Hadoop Distributed File Syste으로, 대용량 데이터를 분산된 서버에 저장하고, 데이터를 빠르게 처리할 수 있게 하는 파일시스템이다. HDFS는 구글 파일 시스템을 본떠 만든 오픈소스로, 다음과 같은 특징을 갖고 있다 큰 용량의 데이터 저장 가능 데이터 저장 시 블록 단위로 쪼개어 저장을 진행해 여러 장비에 걸쳐 데이터를 저장할 수 있다. 스트리밍 방식의 데이터 사용 HDFS로 저장된 데이터는 수정이 불가능 합니다.(단, 마지막 데이터에 추가로 데이터를 이어 붙이는 것은 가능함(append)) 일반적 하드웨어 사용 가능 파일 블록 형태의 저장 기본적인 블록의 크기는 128MB이며, 데이터 크기가 큰 경우 많은 블록을 띄우는 것을 방지하기 위해 크기를 키우기도 ..
→2022.05.17
DataScience/인공지능
DL.1.1 _ 인공신경망이란, 퍼셉트론 알고리즘
딥러닝의 역사 많은 사람들이 딥러닝이 최근에 개발이 된 기술이라고 많이 생각한다. 하지만 과거부터 존재했다. 신경망 개요 1950년대 고양이 신경세포의 실험을 통해 얻어진 신경망 아이디어는 오늘날 다층신경망(MLP, multilayer perceptron)의 발전으로 매우 강력한 머신러닝 기술 중 한 가지가 되었다. 이제는 머신러닝에서 독립하여 딥러닝이라는 학문으로 발전하여 단순 계산만 잘 하던 컴퓨터를 사물인식, 분할기술, 자연어 처리 등은 컴퓨터가 잘 못하는 영역까지 사람보다 뛰어난 성과를 보이며 발전하고 있다. 왜 신경망이 다시 대두되었는가? 핵심 알고리즘의 발전, Framework의 발전, CUDA (Gpu library, 연산 속도 증가), ImageNet과 같은 Dataset의 발전 등 이런 ..
→2021.08.11

• 이전
• 1
• 다음