[Study]신입 자라기 - 8

 

신입 자라기 - 8

하둡이란?

하둡은 하나의 성능 좋은 컴퓨터를 이용하여 데이터를 처리하는 대신, 적당한 성능의 범용 컴퓨터 여러 대를 클러스터

화하고, 큰 크기의 데이터를 클러스터에서 병렬로 동시에 처리하여 처리 속도를 높이는 것을 목적으로 하는 분산처리

를 위한 오픈소스 프레임워크

 

하둡 명령어

hdfs dfs - cat ‘file'

• 하둡에 있는 파일 읽기

python argparse

# ab.py
import argparse

# 인자값 받는 인스턴스 생성
parser = argarse.ArgumentParser(description = 'argparse 사용해보기')

# 입력받은 인자값 등록
parser.add_argument('--a', type=str, help='a설명')
parser.add_argument('--b', type =str, , help='설명')

# 입력 받은 인자값 args에 저장
args = parser.parse_args()

# 출력
print(args.a)
print(args.b)

실행

python3 ab.py --a='a' --b='b'

#결과
a
b

add_argument()

• **type:** 명령행 인자가 변환되어야 할 타입 형태

---

출근길에 보는 CS

CI/CD

CI(continuos integration)

• 개발자를 위한 자동화 프로세스인 지속적 통합
• 여러 개발자가 동시에 개발과 관련된 코드 작업해도 충돌 X

 

CD(Continuous Delivery/Deployment)

지속적인 서비스 제공 

• 적용된 변경 사항이 버그 테스트를 거쳐 저장소에 자동으로 업로드
• 운영팀은 이 저장소에서 실시간 프로덕션 환경으로 배포 가능
• 개발팀과 운영팀 사이의 커뮤니케이션 문제를 해결하는 효과

지속적인 배포

• 저장소에서 애플리케이션의 변경 사항을 프로덕션 환경까지 자동으로 적용
• 운영팀의 수동 프로세스 과부하 문제를 해결하는 효과