Study/신입 자라기 (108) 썸네일형 리스트형 [Study] 신입 자라기 - 15 신입 자라기 15일 차 - 휴무 Task Logging 출근에서 휴무로 변경되어 집에서 휴식 회사 근처 헬스장 등록 프로그래머스 레벨 2 문제 하나 풀기 사이킷런 교차검증 공부 내일은 벡터화와 워드 임베딩에 대해 공부 및 정리 [Study] 신입 자라기 - 14 신입 자라기 14일 차 Task Logging 연속형, 범주형, 텍스트형 데이터를 null값 클렌징 방식을 기존 방식을 참고해서 처리함. 텍스트형 데이터 인코딩 방식 고민 Vectorization? 입력 데이터를 원시 형식에서 머신러닝 모델이 지원하는 형식인 실수 벡터로 변환하는 방식에 대한 전문 용어 자연어 처리(NLP : Natural Language Processing)에서 주로 사용 특징을 추출하는 방법 중 하나 자세한 건 더 공부 후 포스팅 출근길에 보는 CS RAM(Random Access Memory) 데이터 읽기 쓰기 모두 가능 휘발성으로서 종료 시 내용 삭제 DRAM(Dynamic RAM) , SRAM(Static)이 있음 ROM(Read Only Memory) 데이터 읽기만 가능 PRO.. [Study] 신입 자라기 - 13 신입 자라기 13일 차 Task Logging API 가이드 수정 범주형 데이터 인코딩 및 전처리 Study df[’col’].ndim 차원 반환 pandas에서 dtype ‘O’는 object df[’col’].hasnas 속성 값에 nan 있으면 True Series.mask df.mask(df > 5, other = -1) : 5 보다 크면 1 df.where(df> 5 , other =-1) : 5보다 큰 것들은 내버려두고 나머지 1 출근길에 보는 CS 하이퍼 바이저 가상 머신 모니터 가상 머신을 생성하고 구동하는 소프트웨어 CPU /GPU 차이 CPU 중앙 처리 장치 순차 작업에 좋음 GPU 영상을 처리하는 용도로 나옴 대량 연산을 병렬적으로 수행해서 CPU보다 빠름 GPU 가속 컴퓨팅은 ML/.. [Study] 신입 자라기 - 12 신입 자라기 12일 차 Task Logging 회사에서 JIRA를 사용해 할당된 Task를 마무리 짓고, 해당 Task에 대한 brunch를 만들어 마스터 브런치에 풀 리퀘스트 요청까지 했다. 오늘은 가이드 작성을 마무리하고 필요한 간단한 로직을 구현했다 출근길에 보는 CS 커널의 종류 1. 단일형 구조 커널 커널의 핵심 모듈들이 하나로 구성되어 있음 모듈간 통신 비용이 적으며 효율적인 운영 가능 버그나 오류에 대처가 힘듦 2. 계층형 구조 커널 비슷한 기능의 모듈을 묶어 하나의 계층을 만들고 계층 간 통신을 통해 운영체제를 구현함 버그나 오류를 쉽게 처리 3. 마이크로 구조 커널 운영체제가 프로세스 관리, 메모리 관리 등 가장 기본적인 기능만 제공 세분화된 모듈 간 정보 교환은 프로세스 간 통신을 이용.. [Study] 신입 자라기 - 11 신입 자라기 11일 차 쿠버네티스 노드 쿠버네티스는 컨테이너를 파드 내에 배치하고 노드에서 실행함으로써 작동한다 노드는 클러스터에 따라 가상 이나 물리적 머신으로 작동 컨트롤 플레인이 노드를 관리 노드는 파드 실행에 필요한 서비스를 포함 노드 컴포넌트는 kubelet, 컨테이너 런타임, kube-proxy 포함 쿠버네티스 노드 관리 API 서버에 노드 추가하는 2가지 방법 1. 노드의 kubelet로 컨트롤 플레인에 자체 등록 2. 사용자가 노드 오브젝트를 수동으로 추가 { "kind": "Node", "apiVersion": "v1", "metadata": { "name": "10.240.79.157", "labels": { "name": "my-first-k8s-node" } } } 노드 오브젝트 또.. [Study] 신입 자라기 - 10 신입 자라기 9일 차 serialization (직렬화) 객체는 메모리상에 존재하는데 직렬화 과정을 통해 저장이 가능함 어떤 클래스 인스턴스를 DB에 저장하는 것이 아니라 메모리상에서 저장 머신러닝에서는 직렬화를 통해 객체를 joblib 형태로 저장하는 것 같음 Deserialization 메모리 상의 객체는 역직렬화를 통해 불러옴 joblib 형태를 모델 객체로 불러오는 것 같음 자세한 건 다시 공부 출근길에 보는 CS 운영체제 인터페이스(GUI), 시스템 호출, 커널, 드라이버로 구성 운영체제의 역할과 목적은 자원 보호, 확장성이 뛰어난 하드웨어 인터페이스 및 편리한 유저 인터페이스 제공, 효율적 자원 관리임 [Study]신입 자라기 - 8 신입 자라기 - 8 하둡이란? 하둡은 하나의 성능 좋은 컴퓨터를 이용하여 데이터를 처리하는 대신, 적당한 성능의 범용 컴퓨터 여러 대를 클러스터 화하고, 큰 크기의 데이터를 클러스터에서 병렬로 동시에 처리하여 처리 속도를 높이는 것을 목적으로 하는 분산처리 를 위한 오픈소스 프레임워크 하둡 명령어 hdfs dfs - cat ‘file' 하둡에 있는 파일 읽기 python argparse # ab.py import argparse # 인자값 받는 인스턴스 생성 parser = argarse.ArgumentParser(description = 'argparse 사용해보기') # 입력받은 인자값 등록 parser.add_argument('--a', type=str, help='a설명') parser.add_a.. [Study]신입 자라기 - 7 신입 자라기 - 7 Task summary 애플리케이션을 직접 사용하면서 프로세스 파악 및 로그 확인을 주로 확인했고 관련 코드는 포스팅 XX 쿠버네티스 서비스 파드와 비슷한 REST 오브젝트 모든 REST 오브젝트와 마찬가지로, 서비스 정의를 API 서버에 POST 하여 새 인스턴스 생성 가능 "aa"라는 서비스 오브젝트 생성 "app=APP" 레이블을 가진 파드의 TCP 1111 포트를 대상으로 함 apiVersion: v1 kind: Service metadata: name: aa spec: selector: app: App ports: - protocol: TCP port: 80 targetPort: 1111 출근길에 보는 CS FOUC(Flash Of Unstyled Content) 외부의 cs.. 이전 1 ··· 10 11 12 13 14 다음
