Zeus Data Note

[OCI] Oracle Cloud Infrastructure 2024 Generative AI Professional자격증 취득 후기

KwonTeacher — Fri, 9 Aug 2024 15:34:01 +0900

OCI Generative AI Professional 자격증 소개 및 신청

https://zeuskwon-ds.tistory.com/139

[OCI] Oracle Cloud Infrastructure 2024 Generative AI Professional 무료 자격증 및 무료 강의 신청

Oracle AI Professional 무료 시험&강의2024년 7월 31일까지 OCI 2024 Generative AI Professional 강의 및 자격증을 무료로 듣고 취득할 수 있음오라클 23c의 버전명이 23ai로 변경되었고, 지금 ai가 핫하기 때문에 이

zeuskwon-ds.tistory.com

OCI Generative AI Professional 자격증 후기

예상 문제(덤프?)가 있었기 때문에 어렵지 않은 시험이었다.

아래 준비사항만 잘 체크해서 시험에 응시하면 무난하게 합격할 수 있는 자격증

체크

- 문제 : 40문제

- 유형 : 100% 객관식(4지 선다)

- 시험 : 온라인(zoom)

- 준비물 : 여권, 화상카메라

집에서 온라인으로 시험이 진행됐고 카메라는 필수로 켜야 시험 진행이 가능했다.

그리고 외국인 담당자가 카메라를 통해서 신분증 검사를 하는데

전세계 시험이다보니 우리나라 신분증(주민등록증, 운전면허증)은 안되고, 여권만 가능하다는 주변 동료의 말을 듣고 여권으로 준비 했다.

(만료된 여권도 가능)

문제 예시

아래 문제처럼 시험이 출제됨

시험은 덤프로 40문제가 있는데 그 40문제가 그대로 나왔기때문에 시험들어가기전에 40문제를 잘 풀고 외워가면 무난히 합격할 수 있었다.

* 예상문제와 덤프 필요한사람 댓글에 이메일 남기면 보내드림

합격증

추후 자격증 응시자들에게 도움이 되길...

[OCI] Oracle Cloud Infrastructure 2024 Generative AI Professional 무료 자격증 및 무료 강의 신청

KwonTeacher — Wed, 17 Jul 2024 16:56:00 +0900

Oracle AI Professional 무료 시험&강의

2024년 7월 31일까지 OCI 2024 Generative AI Professional 강의 및 자격증을 무료로 듣고 취득할 수 있음

오라클 23c의 버전명이 23ai로 변경되었고, 지금 ai가 핫하기 때문에 이 기회에 ai 관련 자격증 하나 준비해보는 것을 추천

강의 : OCI 2024 Generative AI Learning Path
( https://mylearn.oracle.com/ou/learning-path/become-an-oci-generative-ai-professional/136227 )
시험 주제 : OCI 2024 Generative AI Professional Exam Topics
( https://education.oracle.com/oracle-cloud-infrastructure-2024-generative-ai-professional/pexam_1Z0-1127-24 )
무료 교육 활성화 : OCI 2024 Gen AI Promotion
( https://learn.oracle.com/ords/training/dl4_activation.activateOrder?key=BE175977FC4529C7&destination=https://mylearn.oracle.com/ou/learning-path/become-a-oci-generative-ai-professional/136227 )
시험 응시 : OCI 2024 Generative AI Professional Certification Exam
( https://mylearn.oracle.com/ou/exam/oracle-cloud-infrastructure-2024-generative-ai-professional-1z0-1127-24/35644/136219/213102 )

- 시험 신청 사이트

https://education.oracle.com/ko/genai/?source=:so:bl:or:awr:oun:::RC_WWMK240423P00002:RohitBlog&SC=:so:bl:or:awr:oun:::RC_WWMK240423P00002:RohitBlog&pcode=WWMK240423P00002

OU Gen AI Promo | Oracle University

ociTermConds theOracle ociGenerativeAI compCert oracleGenAICert examAttemptsTXT noPurchaseNecessary promoAvailable participateAcknowledge participateRegister compPromo firstDayTxt lastDayTxt forfeitedTxt theOracle ociGenerativeAI complCertPromo OCICertTxt

education.oracle.com

위 링크를 클릭해서 로그인하면 강의와 시험에 대한 설명이 나온다

- 강의에 포함되는 내용

- 강의&시험

여기서 강의 수강률을 확인할 수 있는데 만약 본인이 시험을 응시해볼 계획이라면 아래 View Details 버튼을 눌러서 시험일정부터 예약하기

(7월말까지만 무료라 남은 시험시간이 많이 없음)

View Details 버튼을 누르면 시험 시간을 예약할 수 있고 예약이 완료되면 위처럼 예약 확인이 가능함

나는 7월 24일 퇴근 후 시간인 저녁 7시에 시험 예정

- 자격증 취득 로고

추후 시험 관련 포스팅 예정

(이 글을 확인하고 시험 준비하시는 분들은 댓글남겨주세요)

[Prompt Engineering] 프롬프트 엔지니어링 가이드 및 예시

KwonTeacher — Mon, 15 Jul 2024 16:21:33 +0900

프롬프트 엔지니어링 가이드

아래 사이트에서는 한국어 버전으로 프롬프트 엔지니어링 가이드에 대해 설명되어 있다.

'Prompt Engineering Guide'는 AI 연구의 해외 커뮤니티 'DAIR.AI'에서 작성한 자료를 공유해놓은 사이트이다.

https://www.promptingguide.ai/kr

프롬프트 엔지니어링 가이드 – Nextra

A Comprehensive Overview of Prompt Engineering

www.promptingguide.ai

이 가이드는 프롬프트의 품질을 개선하고, 보다 정확한 결과를 얻기 위해 사용할 수 있는 전략과 기법에 대한 개요를 제공한다.

1. 짧고 명료하게 적기

: 지시문을 최대한 짧고 명료하게 입력하는 것이 중요하다. 핵심만 담아 구체적인 출력 지도 사항을 입력해야 한다.

Bad 예시 : 올여름 휴가는 어디로 가면 좋을까? 바다도 가고 싶은데 산도 좋을 것 같아서 고민이야. 국내 여행지를 추천받긴 했는데 요즘 해외여행도 끌리네.. 어딜 가야 하지?

Good 예시 : 8월에 가기 좋은 자연경관이 아름다운 해외 여행지 3개 추천해 줘.

2. 아웃풋을 확실하게 지시하기

: 어떠한 형식으로 출력해야 하는지 구체적으로 요청한다. 글자 수, 줄 단위와 같이 일반적인 형식부터, json 표, html 포맷 등 사용자가 원하는 대로 지정한다.

3. 예시 듣기

: 원하는 아웃풋이 확실하게 정해져 있다면 예시를 드는 것도 좋은 방법이다. 샘플 아웃풋과 함께 결과를 도출해달라고 요청하면 이를 반영해 결과를 만들어낸다.

Bad 예시 : 가상의 회사를 하나 만들어줘. 어떤 회사인지 간단히 설명도 덧붙여주면 좋겠어.

Good 예시
다음 포맷으로 가상의 패션 회사 "BBB"를 만들어봐.

기업명: 업스테이지
업종: 시스템 소프트웨어 개발 및 공급업
제품/사업: 인공지능(AI) 시스템 개발 및 공급업,소프트웨어 개발 및 제작,기타 시스템 운용 관련업

4. Tash를 순서대로 정리하기

: 다양한 업무 처리에 활용할 때에는 해야 할 일을 단계별로 정리하여 출력 순서를 알려주는 것이 좋다.

어떠한 내용을 바탕으로 보고서를 써줘라고 지시하기 보단, 여러 Task를 순차적으로 정리해주는 것이 완성도 있는 결과를 만들어 낼 수 있다.

이때 유의해야 할 점은 거대 언어 모델(LLM)이 명확히 판단할 수 있는 Task를 주어야 만족할 만한 결과가 나올 수 있다는 점이다.

예를 들어 정성적인 평가가 이루어지는 항목은 명확한 기준이 없기 때문에, 해당 여부를 판단할 수 있을 만한 기준을 제시해주는 것이 좋다.

프롬프트 엔지니어링 사용 단점

모델의 입력에 대한 조정으로 성능을 개선하기 때문에 모델에 의존적이다.
프롬프트 엔지니어링으로 생성된 결과물이 항상 일관성이 있지는 않다.
모델의 크기와 연산량이 매우 크기 때문에, 모델을 학습하고 사용하는 데에 많은 컴퓨팅 자원과 시간이 필요하다.

프롬프트 엔지니어링 예시

문장 요약

문장 요약은 자연어 생성의 대표적인 작업 중 하나

- Prompt

>>> 대한민국에 대해서 한국어로 설명해줘

- output

위 질문을 통해서 나온 아웃풋을 요약해달라는 내용을 인풋값으로 넣으면 요약된 내용을 출력할 수 있다.

- prompt

>>> 위 내용을 요약해줘

나는 ollama라는 로컬 llm 모델을 사용해서 llama3모델을 통해 출력값을 생성했다.

프롬프트 엔지니어 역량을 높여서 최적의 원하는 결과를 얻어내는 능력은 이제 분야를 떠나서 중요한 요소가 되었다.

프롬프트 엔지니어링은 반복적인 프로세스이다. 다양한 아이디어를 실험하고 AI 프롬프트를 테스트하여 결과를 확인하는 것이 중요하다.

[Prompt Engineering] 프롬프트 엔지니어링 기초 개념

KwonTeacher — Mon, 15 Jul 2024 15:27:56 +0900

생성형 AI와 프롬프트 엔지니어링의 정의와 예시

방대한 양의 데이터를 학습해 새로운 결과물을 창작하는 생성형 AI(Generative Artificial Intelligence)

이러한 생성형 AI 서비스와 소통할 때 필요한 '프롬프트'에 대한 관심도 커졌는데, 프롬프트는 어떤것일까?

프롬프트

컴퓨터 분야에서 Prompt는 이미 존재했었는데, 컴퓨터에서 원하는 결과물을 얻기 위한 CLI(Command Line Interface)가 대표적인 예이다.

문자의 형태로 명령어를 입력하면 역시 문자 형태로 출력이 되는 인터페이스를 뜻한다.

컴퓨터와의 prompt에서는 mkdir, rm -rf 등 컴퓨터가 이해할 수 있는 수많은 명령어를 통해서 소통을 해왔다.

최근 생성형 AI 모델이 발전하고 이를 활용한 서비스가 등장하면서 컴퓨터는 기존의 명령어가 아닌 자연어, 즉 인간의 언어 그대로를 입력받을 수 있게 되었다.

이처럼 생성형 AI에게 어떤 행동을 해야 하는지 자연어로 설명해 원하는 결과물을 출력할 수 있게 하는 입력값을 프롬프트(Prompt)하고 한다.

지금 자주 등장하는 프롬프트는 AI를 작동시키기 위해 사용자가 언어 모델에 입력하는 모든 것이라고 할 수 있다.

따라서, 프롬프트의 구성을 만들어 가는 것을 프롬프트 엔지니어링이라고 할 수 있다.

프롬프트의 구성요소

프롬프트는 크게 네가지의 구성 요소로 이루어진다.

지시 사항(명령) : 언어 모델이 실행하야 하는 특정 작업이나 명령을 명확하게 설명
컨텍스트(맥락) : 언어 모델이 명령을 정확히 이해하고 응답할 수 있도록 외부 정보나 추가적인 맥락을 제공
입력 데이터 : 사용자가 제공한 내용이나 질문을 포함하여 모델이 출력을 생성하는 기반이 되는 정보를 제공함
출력 명세 : 원하는 출력 유형이나 형식을 명시

프롬프트 엔지니어링

프롬프트 엔지니어링이란 인공지능 분야의 한 개념으로 AI모델로부터 높은 수준의 결과물을 얻기 위해 적절한 프롬프트를 구성하는 작업이다.

데이터에서 필요한 정보를 찾는 과정과 콘텐츠 구성 능력이 인공지능 분야에서 중요해짐에 따라 자연어로 인공지능의 역량을 최대로 끌어내는 것이 프롬프트 엔지니어링의 핵심이라고 불 수 있다.

대표적으로 Chat GPT에 질문하고 원하는 답을 얻기 위한 작업도 프롬프트 엔지니어링이라고 할 수 있다.

따라서 서비스의 기반이 되는 AI 모델의 성능을 최대한 끌어올리고 원하는 결과물을 만들기 위해서는 프롬프트를 잘 만들어주는 것이 필요하다.

생성형 AI는 완벽하게 인간의 의도와 목적을 파악하고 반영할 수 있는 것은 아니며, 때로는 부적절하거나 오류가 있는 결과물을 생성하기 때문에 인간의 감성이나 창의성을 완전히 대체할 수는 없다.

결국 생성형 AI를 효과적으로 활용하기 위해서는 최종적으로 인간의 감독과 조정이 필요하다. 이러한 업무, 즉 프롬프트를 탐색하고 설계하는 것이 프롬프트 엔지니어링이라 할 수 있다.

프롬프트 엔지니어링의 핵심

사용자의 요청을 정확하게 파악하고 그에 맞는 질문을 AI 모델에 적용한다.
사용자는 모델을 활용하여 사용자의 요청을 최적화된 프롬프트로 변환하는 능력을 갖추어야 한다.
프롬프트를 효과적으로 설계하기 위해 LLM 모델의 강점과 약점에 대한 깊은 이해가 필요하다.

프롬프트 엔지니어링의 이점

Improved Acuracy: 적절한 프롬프트를 설계하면 AI 시스템이 더 정확한 출력을 생성할 수 있다.
Enhanced User Experience: 잘 설계된 프롬프트는 사용자와 AI 시스템 간의 상호작용을 개선하여 사용자의 경험을 향상시킬 수 있다.
Increased Efficiency: 최적화된 프롬프트는 상호작용 프로세스를 streamlining하여 인간과 기계 모두에게 시간과 자원을 절약할 수 있다.

참고

https://www.codestates.com/blog/content/%ED%94%84%EB%A1%AC%ED%94%84%ED%8A%B8-%ED%94%84%EB%A1%AC%ED%94%84%ED%8A%B8%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4%EB%A7%81

[Linux] 리눅스 명령어 연습 사이트 - 설치없이 웹에서 리눅스 연습

KwonTeacher — Mon, 11 Mar 2024 14:31:55 +0900

웹에 리눅스 연습하기

https://bellard.org/jslinux/

JSLinux

JSLinux Run Linux or other Operating Systems in your browser! The following emulated systems are available: CPUOSUserInterfaceVFsyncaccessStartupLinkTEMUConfigComment x86Alpine Linux 3.12.0ConsoleYes click here url x86Alpine Linux 3.12.0X WindowYes click h

bellard.org

위 링크를 들어가면 아래 화면이 뜬다.

위 화면에서 첫 번째 Alpine Linux3.12.0 에 Link를 클릭하면 아래 화면이 뜬다.

여기서 폴더를 만들거나 삭제해보면서 리눅스 명령어를 연습해 볼수 있다.

이 사이트의 장점은 따로 설치 없이 웹에서 간단하게 사용할 수 있기때문에 부담없이 편하게 사용할 수 있다.

컴퓨터 용량과 성능에 상관없이 사용가능하고, 속도도 빠르고 여러 명령어를 연습해 볼 때 사용가능하다.

https://zeuskwon-ds.tistory.com/133

[Linux] 파일, 폴더 용량 확인 - df, du

1. df 명령어 df 명령어는 'disk free'의 약자로, 파일 시스템의 용량과 사용 현황을 표시해준다. $ df -h * -h(human-readable) 옵션을 사용하면 용량을 보기 쉬운 형식으로 출력한다. 예를들면 "100M" 대신 "100

zeuskwon-ds.tistory.com

[Linux] 파일 내 특정 문자열 찾기 - grep 기본

KwonTeacher — Fri, 8 Mar 2024 14:45:12 +0900

grep 명령어 - 파일 내 특정 문자열 찾기

리눅스에서 grep 명령어는 특정 파일에서 지정한 문자열이나 정규표현식을 포함한 행을 찾아서 출력해주는 명령어이다.

특히, tailo이나 ls 등 다양한 명령어와 조합하여 응용되는 경우가 많아서 리눅스 시스템 내에서 grep 명령어를 능숙하게 다룰 수 있어야 한다.

grep 사용법

grep [옵션][패턴][파일명]

# test.txt 파일에서 'error'문자열 찾기
$ grep 'error' /test.txt

grep 의 종류

grep : 다중 패턴 검색 - 정규표현식 O
egrep : 정규표현식 패턴검색 - 정규표현식 O
fgrep : 문자열 패턴 검색 - 정규표현식 X

이러한 종류가 있지만 그냥 대부분 grep만 사용하면 됨

grep 옵션

-c : 일치하는 행의 수 출력
-i : 대소문자 구분 X
-v : 일치하지 않는 행만 출력
-n : 포함된 행의 번호를 함께 출력
-l : 패턴이 포함된 파일의 이름 출력
-w : 단어와 일치하는 행만 출력
-x : 라인과 일치하는 행만 출력
-r : 하위 디렉토리를 포함한 모든 파일에서 검색
-m (숫자) : 숫자로 최대 표시 될 수 있는 결과 제한
-E : 패턴을 정규표현식으로 찾기
-F : 패턴을 문자열로 찾기

문자열로 찾기

grep을 사용해서 특정파일에서 원하는 문자열이 있는지 찾을 수 있다.

# 파일명에서 원하는 "error" 문자열을 찾는데 대소문자 구분 안함
$ grep -i "error" test.log

# 원하는 문자열을 찾는데 라인 번호도 함께 출력
$ grep -n "error" test.log

# 원하는 문자열을 찾는데 50개까지만 출력
$ grep -m 50 "error" test.log 

# 해당 문자열이 포함되지 않는 라인만 출력
$ grep -v "error" test.log

# 단어 단위로 문자열 검색
$ grep -w "error test.log 

# 해당 문자열이 포함되어있는 파일 이름 표시
$ grep -H "error" *

# 하위 디렉토리에 있는 파일까지 검색
$ grep -r "error" *

정규표현식으로 찾기

grep 명령어를 사용해서 입력한 정규표현식에 해당하는 문자열도 찾을 수 있다.

# 특정 파일에서 'a'로 시작하는 모든 단어 찾기
$ grep 'a*' test.log

# abc로 시작하는 단어 모두 찾기
$ grep [a-c] test.log

# abc 또는 Abc로 시작하는 단어 모두 찾기
$ grep [aA]bc test.log

# 특정 파일에서 a나 b로 시작하는 모든 라인 출력
$ grep '^[ab]' test.log

# 특정 파일에서 ab로 시작되고 0~9의 숫자로 끝나는 모든 행 찾기
$ grep 'ab'[0-9] test.log

[Linux] 파일, 폴더 찾기 - find

KwonTeacher — Thu, 7 Mar 2024 14:35:02 +0900

find 명령어 - 폴더, 파일 찾기

리눅스의 find 명령어는 시스템 내에서 파일을 검색하는데 사용되는 명령어이다.

생각보다 많이 사용되기 때문에 알아두는것이 좋다.

find 사용법

find [옵션] [경로] [표현식]

# 현재 위치에서 log가 들어가는 파일 모두 찾기
$ find . -name "*log*"

* 경로는 상대경로, 정대경로 모두 가능하며, 생략하면 현재위치(.)를 디폴트값으로 간주합니다.

▷ 옵션

P : 심볼릭 링크를 따라가지 않고, 심볼릭 링크 자체 정보 사용
L : 심볼릭 링크에 연결된 파일 정보 사용
H : 심볼릭 링크를 따라가지 않으나, Command Line Argument를 처리할 때 예외
D : 디버그 메시지 출력

▷ 표현식

name : 해당 이름의 파일 검색
type : 지정된 파일 타입에 해당하는 파일 검색
user : 해당 유저에게 속한 파일 검색
empty : 빈 디렉토리 혹은 크기가 0인 파일 검색
delete : 검색된 파일 혹은 디렉토리 삭제
exec : 검색된 파일에 대해 지정된 명령 실행
path : 지정된 문자열 패턴에 해당하는 경로에서 검색
print : 검색 결과를 출력, 검색항목은 newline으로 구분(기본값)
print0 : 검색 결과를 출력, 검색 항목은 null로 구분
size : 파일 크기를 사용하여 파일 검색
mindepth : 검색을 시작할 하위 디렉토리 최소 깊이 지정
maxdepth : 검색할 하위 디렉토리의 최대 깊이 지정
atime : n일 이내에 엑세스된 파일을 찾음
ctime : n일 이내에 만들어진 파일을 찾음
mtime : n일 이내에 수정된 파일을 찾음
cnewerfile : 해당 파일보다 최근에 수정된 파일을 찾음

find 명령어는 다은 명령어와 달리 옵션보다는 표현식을 주로 사용해서 원하는 타깃을 찾는다.

표현식을 잘 써야만 원하는 결과를 쉽게 얻을 수 있음

만약 찾을려는 디렉토리에 권한이 없으면 아래와 같은 에러가 생기니 참고하자.

'permission denied'

이럴때는 sudo 명령어 관리자 권한으로 폴더를 검색해야함

find 명령어 예시

파일명으로 찾기 (-name)

# 현재 디렉토리에서 test가 포함되는 파일 찾기 
find . -name "*test*"

# 현재 디렉토리에서 .txt 확장자 모두 찾기
find . -name "*txt"

# 현재 디렉토리에서 .txt 확장자 파일 검색 후 모두 삭제 
find . -name "*txt" -delete

타입으로 찾기 (-type)

# 현재 디렉토리에서 모든 디렉토리 찾기 
find . -type d

# 현재 디렉토리에서 test가 들어가는 모든 디렉토리 찾기 
find . -name "*test*" -type d

# 현재 디렉토리에서 모든 파일 찾기
find . -type f

* d : 디렉토리 f : 일반적인 파일 l : 심볼릭 링크

파일 크기로 찾기 (-empty, -size)

# 현재 디렉토리에서 빈 디렉토리이거나 크기가 0인 파일 검색
find . -empty

# 현재 디렉토리에서 test가 들어가는 빈 디렉토리이거나 크기가 0인 파일 검색하여 삭제 
find . -name "*test*" -empty -delete

# 현재 디렉토리에서 1024byte인 파일 검색
find . -size 1024c

# 현재 디렉토리에서 1024byte보다 큰 파일 검색
find . -size +1024c # 작은것을 찾으려면 (-) 사용

# 현재 디렉토리에서 1kb보다 크고 10kb보다 작은 파일 검색
find . -size +1k -size -10k

* b : 블록단위 c : byte k : kbyte w : 2byte 워드

검색된 파일에서 추가 명령 실행하기 (-exec)

# 현재 디렉토리에 "test"가 들어가는 파일을 찾아서 상세 정보 출력
find . -name "*test*" -exec ls -l {} \;

# 현재 디렉토리에 ".txt" 확장자를 찾아서 모두 삭제 
find . -name "*.txt" -exec rm () \;

* exec를 사용해서 검색한 대상에 추가 명령어를 수행할 수 있음

[Linux] 파일 or 폴더 용량 확인 - df, du

KwonTeacher — Mon, 4 Mar 2024 14:23:37 +0900

1. df 명령어

df 명령어는 'disk free'의 약자로, 파일 시스템의 용량과 사용 현황을 표시해준다.

$ df -h

* -h(human-readable) 옵션을 사용하면 용량을 보기 쉬운 형식으로 출력한다. 예를들면 "100M" 대신 "100MB"와 같이 출력

2. du 명령어

du 명령어는 'disk usage'의 약자로, 디렉토리와 파일의 용량을 확인하는데 사용된다.

df와의 차이는 파일 객체 하나당 용량을 상세하게 볼때는 du를 사용하면 된다.

1) 특정 디렉토리 용량 확인

$ du -h /home/user

2) 현재 폴더의 하위폴더 및 파일 용량 확인

$ du -hs *

3) 현재 폴더에서 파일 용량이 큰 순서대로 출력

$ du -h --max-depth=1 | sort -hr

4) 현재 폴더에서 상위 10개 폴더 용량 보기

$ du -hsx * | sort -rh | head -n 10

[AWS-S3] S3 CLI 명령어 _ 커맨드 옵션(recursive, exclude, include, dryrun)

KwonTeacher — Fri, 23 Feb 2024 14:12:22 +0900

S3 버킷 설명

https://zeuskwon-ds.tistory.com/129

[AWS-S3] S3 버킷 알아보기

S3란 무엇인가? S3는 "Simple Storage Service"의 줄임말이다. 최근 이직한 회사에서 AWS S3를 사용하고 있다 AWS S3는 스토리지 서비스(Storage Service)인데 쉽게 말하면 특정한 사진, 동영상 파일을 저장하기

zeuskwon-ds.tistory.com

S3 기본 명령어

https://zeuskwon-ds.tistory.com/130

[AWS-S3] S3 CLI 명령어 _기본

AWS S3를 사용하는 기본 방법은 AWS 공식 페이지에서 작업을 해야했다. S3에 버킷을 생성하고 파일을 저장할 때 웹브라우저 콘솔 화면에 가서 일일히 화면을 눌러 적용해야한다. 이 방법이 틀린 방

zeuskwon-ds.tistory.com

S3 버킷 커맨드 옵션

자주 사용하는 cli 명령어 옵션은 --force 강제, --exclude 제외, --include 포함, --dryrun 테스트 등이 있다.

이 옵션은 무조건 사용해야하는 명령어가 아닌 말 그대로 옵션인 명령어이다.

하위 디렉터리 포함(--recursive)

--recursive 옵션과 함께 사용하면 커맨드 적용 범위가 하위 디렉터리까지 적용된다.

예를 들어 aws s3 rm 삭제 커맨드를 --recursive 옵션과 함께 사용한다면 하위 디렉터리까지 삭제하겠다는 의미가 된다.

또, aws s3 ap 커맨드를 --recursive 옵션과 함께 사용하면 해당 bucket의 하위 폴더 데이터까지 모두 복사된다.

$ aws s3 cp test/ s3://my-test-folder --recursive
upload: ./test/test1.txt s3://my-test-folder/test1.txt
upload: ./test/test2.txt s3://my-test-folder/test2.txt

* 참고로 이전에 배운 aws s3 sync 커맨드는 기본적으로 하위 디렉터리까지 모두 동기화해주기 때문에 별도로 --recursive 옵션을 사용할 필요가 없음

커맨드 테스트(--dryrun)

명령어 조합이 애매모호해서, 실제로는 수행되지 않고 동작만 보고 싶다면, --dryrun 옵션을 이용해서 동작 수행하는것을 테스트해볼 수 있다.

실수로 엉뚱한 파일을 삭제하거나 이동시키는것을 방지할 수 있다.

$ aws s3 rm s3://test-bucket-zeus/forder1/ --dryrun
(dryrun) delete: s3://test-bucket-zeus/forder1/

* 결과 출력시, dryrun임을 표시하여 실제로 수행되지 않았음을 알려준다.

파일 제외 (--exclude)

--exclude 옵션은 명령에서 특정 객체만 제외하고 실행할 때 사용하는 옵션이다.

이때 순서는 지정된 순서대로 옵션이 적용된다.

# 모든 txt파일은 제외하고 나머지 파일을 copy
$ aws s3 cp . s3://my-bucket/path --exlude "*.txt"

파일 포함(--include)

--include 옵션은 exclude와 반대되는 옵션으로 명령에 지정된 객체만 포함하도록 해주는 옵션이다.

# 모든 .txt 형식의 파일을 포함하여 copy
$ aws s3 cp . s3://my-bucket/path --include "*.txt"

이처럼 하나씩 사용할 수도 있지만 옵션을 여러개 사용할 수도 있다.

# .log 파일만 제외하고 모든 파일과 하위 디렉토리 파일을 로컬에 복사
$ aws s3 cp s3://bucket_name/ ./ --recursive --exclude "*.log" --include "*"

# 'imgae-숫자' 로 시작되는 복수 파일만 업로드
$ aws s3 cp /Images s3://test-s3/cp-test/ --recursive --exclude "*" --include "image-*"
upload: ./image-1.jpg to s3://test-s3-squirrel/cp-test/image-1.jpg 
upload: ./image-4.jpg to s3://test-s3-squirrel/cp-test/image-4.jpg 
upload: ./image-2.jpg to s3://test-s3-squirrel/cp-test/image-2.jpg 
upload: ./image-3.png to s3://test-s3-squirrel/cp-test/image-3.png

# 모든 .txt 형식의 파일을 포함하고, MyFile로 시작하는 파일명은 제외하는데, MyFile1.txt만은 제외하지않고 포함해서 copy
$ aws s3 cp . s3://my-bucket/path --include "*.txt" --exclude "MyFile*.txt" --include "MyFile1.txt"

* s3 와일드 카드 패턴(*)은 --include와 --exclude 옵션과 함께 사용할때만 와일드카드 패턴을 지원한다. 즉, rm, cp 같은 명령어에서는 와일드 카드 패턴 사용 x

[AWS-S3] S3 CLI 명령어 _복사(cp, sync)

KwonTeacher — Thu, 22 Feb 2024 17:38:04 +0900

S3 버킷 복사 커맨드

파일이나 폴더를 복사하는 방법에 대해서 알아보자

파일 복사(cp)

aws s3 cp "이전복사파일경로" "이후복사경로"

# 버킷에 로컬파일을 업로드
$ aws s3 cp test.zip s3://test-bucket-zeus
upload: ./bar.txt to s3://test-bucket-inpa/test.zip

# 버킷에 다른이름으로 업로드
$ aws s3 cp test.zip s3://test-bucket-zeus/change_name_file.zip
upload: ./test.zip to s3://test-bucket-inpa/change_name_file.zip

* 로컬에서 버킷, 버킷에서 로컬로 파일 복사할 수 있다.

디렉터리 동기화(sync)

만일 디렉터리 안에 있는 파일 전부를 S3에 옮기고 싶을 때는 sync 커멘드를 사용하는 것이 좋다.

파일을 일일히 옮겨주는 것보다 동기화 기능을 이용하면 좀 더 쉽게 옮길 수 있다.

여기서 동기화는, 두 개의 저장 공간을 일치시킨다는 개념으로 이해하면 된다.

aws s3 sync "동기화 주체" "동기화 대상"

# 버킷의 데이터를 로컬 디렉토리와 동기화 -> 로컬로 다운로드
$ aws s3 sync s3://bucket-name/ ./

# 로컬 디렉토리 데이터를 버킷에 동기화 -> S3에 업로드
$ aws s3 sync ./ s3://bucket-name/