Server&Network&클라우드
![[AWS-S3] S3 CLI 명령어 _기본](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FbKHL9n%2FbtsE8OzlzO9%2FaKWuWT5dMtwW72XID1bSdK%2Fimg.png)
[AWS-S3] S3 CLI 명령어 _기본
AWS S3를 사용하는 기본 방법은 AWS 공식 페이지에서 작업을 해야했다. S3에 버킷을 생성하고 파일을 저장할 때 웹브라우저 콘솔 화면에 가서 일일히 화면을 눌러 적용해야한다. 이 방법이 틀린 방법은 아니지만 데이터가 많아지고 신속하게 처리하기 위해서는 AWS CLI를 이용하면 좀 더 간편하게 S3버킷을 제어하고 저장되어있는 S3오브젝트에 접근할 수가 있다. 예를 들어 100만 단위의 파일을 한번에 삭제하거나 복사해야할 때 웹브라우저에서 작업하는것보다 커맨드를 이용해서 작업하는게 훨씬 빠르다. AWS CLI 란? AWS Command Line Interface(AWS CLI)는 명령줄 셸의 명령을 사용하여 AWS 서비스와 상호 작용할 수 있는 오픈 소스 도구. 최소한의 구성으로 AWS CLI를 사용하..
![[AWS-S3] S3 버킷 알아보기](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FbarZ7n%2FbtsEZaJP3Bj%2FEA4iHyMxwQxQYHMwJTLwmK%2Fimg.png)
[AWS-S3] S3 버킷 알아보기
S3란 무엇인가? S3는 "Simple Storage Service"의 줄임말이다. 최근 이직한 회사에서 AWS S3를 사용하고 있다 AWS S3는 스토리지 서비스(Storage Service)인데 쉽게 말하면 특정한 사진, 동영상 파일을 저장하기 위해 사용할 수 있는 aws 서비스이다. 우리 회사에서는 대용량의 데이터 플로우를 관리하기 위해서 S3를 사용하고 있다. S3에서 객체(Object)란 저장되는 파일을 의미하고, 버킷(Buchet)은 파일이 저장될 프로젝트를 의미한다. Amazon S3는 업계 최고의 확장성, 데이터 가용성 및 보안과 성능을 제공하는 것으로 널리 알려져있다. 규모가 작든 크든, 산업이 어디든지 이 서비스를 활용하여 웹 사이트, 모바일 어플리케이션, IoT 디바이스, 빅데이터 분..
![[클라우드] Amazon EC2 인스턴스 유형 정리](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2Fbn1z0l%2FbtsCWJgnU96%2FRioboQxn0SDRQXGsjZhUm0%2Fimg.png)
[클라우드] Amazon EC2 인스턴스 유형 정리
AWS 클라우드에서 성공적으로 배포하기 위해서는 적절한 인스턴스를 선택하는 것이 중요하다. 그만큼 Amazon EC2 인스턴스에는 다양한 유형이 있고 그 유형에 대해서 간단하게 설명하겠다. AWS 공식 웹 https://calculator.aws/#/addService?ch=cta&cta=lower-pricing-calc AWS Pricing Calculator calculator.aws EC2 인스턴스 AWS 공식사이트 _ EC2 인스턴스 유형 https://aws.amazon.com/ko/ec2/instance-types/ 컴퓨팅 - Amazon EC2 인스턴스 유형 - AWS aws.amazon.com EC2 인스턴스를 선택으로 인해서 월 비용에 크게 차이나기 때문에 본인의 필요에 적절한 인스턴스를..
![[Docker] Linux(CentOS) Docker 간단 설치](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2Fc1agjh%2Fbtr2RXmLQr3%2F5bZkbZmYwLyRGdKylyshj1%2Fimg.png)
[Docker] Linux(CentOS) Docker 간단 설치
Centos7 리눅스 서버에 토커 설치 CentOS7 리눅스 서버에 도커를 설치하는 코드를 작성하려고 한다. 도커는 공식문서에 정리가 잘 되어있기 때문에 공식 문서를 참조하는것을 추천 함 공식 페이지 - https://docs.docker.com/engine/install/centos/ Install Docker Engine on CentOS docs.docker.com 이번에 컴퓨팅 환경이 바뀌면서 리눅스서버에 도커를 새로 설치할 일이 있었다. 그래서 겸사겸사 블로그로 남겨 봄. 아래는 설치시 필요한 명령어와 출력 결과를 공유한다. 1. Yum-utils 업데이트 yum으로 도커 엔진패키지를 다운받아 설치 먼저 yum-utils를 최신 버전으로 업데이트 해야 함 (yum-utils: yum 패키지 매니..
![[Docker] docker-hadoop 컨테이너 설명](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FOKTrn%2FbtrCl120U3d%2F3ba7a4eVKFWq9kI693Ykk0%2Fimg.png)
[Docker] docker-hadoop 컨테이너 설명
이번 포스팅에서는 Hadoop 클러스터의 컨테이너에 대해서 알아보자. 만약 docker로 Hadoop 클러스터를 구성하는 방법이 궁금하면 아래 포스팅을 참고하자 https://zeuskwon-ds.tistory.com/68?category=1023021 [Docker] 리눅스 Hadoop 클러스터 구성하기 이번 포스팅에서는 Docker로 Hadoop 클러스터를 구성해보겠다. 도커로 하둡클러스터 구성한 환경은 리눅스(CentOS)에서 진행했다. 1. Docker-Hadoop repository 구성 하둡 클러스터로는 big-data-europe에서 만든. zeuskwon-ds.tistory.com 하둡 공식 Documentation https://hadoop.apache.org/docs/current/
![[Docker] Linux(CentOS) Hadoop 클러스터 구성하기](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FcknKfN%2FbtrCdIJX8f1%2FfE1fytGSOArc0o2jHdqkV1%2Fimg.png)
[Docker] Linux(CentOS) Hadoop 클러스터 구성하기
이번 포스팅에서는 Docker로 Hadoop 클러스터를 구성해보겠다. 도커로 하둡클러스터 구성한 환경은 리눅스(CentOS)에서 진행했다. 1. Docker-Hadoop repository 구성 하둡 클러스터로는 big-data-europe에서 만든 하둡이미지를 사용한다. (아래 링크 참조) https://github.com/big-data-europe/docker-hadoop.git GitHub - big-data-europe/docker-hadoop: Apache Hadoop docker image Apache Hadoop docker image. Contribute to big-data-europe/docker-hadoop development by creating an account on GitH..