티스토리

허곰의 코딩블로그

검색하기

블로그 홈

허곰의 코딩블로그

junnyhi.tistory.com/m

허곰 님의 블로그입니다.

구독자: 4

방명록 방문하기

주요 글 목록

금융 전문가 Agent - Fred API (3) 경제 데이터가 필요할 때는 Fred API를 사용하면 됨무료로 사용 가능가장 먼저 사용해 본 건 Tags, 엔드 포인트는 fred/tags/seriesCPI 관련 데이터를 보고 싶었음 Response는 내가 원하는 값은 아니었음 나는 정확히 "미국 근원 소비자 물가지수" 데이터가 필요했기 때문에이런 지수 값들을 보려면,엔드포인트 =fred/series/observations를 확인하면 됐다원하는 데이터의 시리즈 ID만 넣어주면 됨시리즈 ID는 웬만하면 챗GPT가 알고 있었음import requests# 미국 CPI 및 근원 CPI 시리즈 IDCPI_ID = "CPIAUCSL" # 미국 일반 CPICORE_CPI_ID = "CPILFESL" # 미국 근원 CPI (식료품·에너지 제외)# CPI 데이터의.. 공감수 0 댓글수 0 2025. 2. 21.
금융 전문가 Agent - StateGraph (2) FinRobot의 대항마, FinBrain가슴이 옹졸해진다 지금까지의 그래프를 시각화하면..display( Image( finbrain_graph.get_graph(xray=True).draw_mermaid_png() )) 3개의 팀을 위한 State를 만들었음. 물론 지금 스키마가 동일한 상태지만 개별로 나눠놨음# State 정의class DataState(TypedDict): messages: Annotated[list, add_messages] next: str# State 정의class FinanceState(TypedDict): messages: Annotated[list, add_messages] next: str# State 정의class Rep.. 공감수 0 댓글수 0 2025. 2. 19.
금융 전문가 Agent - 오픈소스 FinRoBot (1) 금융 투자 관련 서비스에서는 정말 다양한 질문에 답변을 해줘야함 다양한 질문들을 어떤식으로 풀어나가야하나.. 하다가일단 이런식으로 접근을 좀 했다코딩을 하는데 손이 더 나가지 않음상당히 잘못됨을 느꼈기 때문임class QuestionClassifier: def __init__(self, llm: OpenAI, categories: List[str] = None): """ 질문을 카테고리로 분류하는 클래스를 초기화. :param llm: OpenAI LLM 모델 인스턴스 (LangChain 기반) :param categories: 분류할 카테고리 리스트 (기본값: 사전 정의된 카테고리) """ self.llm = llm .. 공감수 4 댓글수 1 2025. 2. 7.
From RAG to AI Agent, 이론 적립(2) From RAG to AI Agent, 이론 적립(2)들어가기 전이 글은 기본적으로 Google's Agent Whitepaper 를 기본으로 하고 있습니다1. AI Agent 란? 에 대한 명확한 정의가 없는 것 같다.그럼에도 정의를 내리자면, 대규모 언어 모델을 사용하여 사전에 주어진 목표를 달성하기 위한 계획 및 행동(Acting)을 통해 주어진 목표를 달성하는 AI 시스템이다.AI와 AI Agent를 비유한 좋은 표현이 있어서 가져왔다 - 기존 모델이 좋은 에스프레소 머신이라면, 에이전트 기반 AI는 바리스타다- 바리스타는 커피를 만들 뿐만 아니라 손님을 맞이하고, 주문을 받고, 커피를 제공하고, 돈을 받고 컵도 씻는다아래는 뉴욕주민님이 만든 투자 에이전트 "theTerminalX" https:.. 공감수 4 댓글수 0 2025. 1. 31.
From RAG to AI Agent, 이론 적립(1) From RAG to AI Agent, 이론 적립(1) 들어가기 전이런 뉴(?) 기술들을 공부할 땐, 역시 구글 검색이 더 좋은 것 같다.Perplexity 같은 엔진을 통해 공부하는 것도 좋지만, 글마다 다른 표현들, 조금씩 다른 설명 방식과 예시들도 공부가 되기 때문이다 RAG(Retrieval Augmented Generation, 검색 증강 생성) 란? 한 줄 요약RAG(검색 증강 생성)은 외부 소스(데이터)에서 가져온 사실을 이용해, 생성 AI 모델의 정확도와 신뢰성을 향상시키는 기술 예시를 보자아무리 똑똑한 ChatGPT라 해도, 내가 오늘 저녁에 먹은 메뉴까지는 알 수 없음.그래서 정확한 답변을 얻으려면, 최신 데이터가 담긴 식단표 DB를 보여줘함마치 시험 공부를 전혀 하지 않은 채, 오.. 공감수 12 댓글수 0 2025. 1. 24.
JWT(JSON Web Token) 으로 3행시 해보겠습니다 JWT(JSON Web Token)으로 3행시 해보겠습니다 J : 제이슨 웹 토큰이 W : 왜 중요한지 모른다면 T : 토킹 어바웃 JWT(Json Web Token) 이란 인증에 필요한 정보들을 암호화시킨 JSON 토큰 JWT는 세 부분으로 구성되고 .(점)을 구분자로 나누어지는 세 가지 문자열의 조합 세 가지 문자열? Header Payload Signature Header Header는 일반적으로 두 가지 정보를 포함 Header는 Base64URL로 인코딩 되어 생성 alg : 사용되는 암호화 알고리즘(HMAC SHA256, RSA) typ : 토큰의 타입을 나타냄. 일반적으로 "JWT" { "alg": "HS256", "typ": "JWT" } Payload(Claims) 실제 전달하고자 하는 .. 공감수 3 댓글수 2 2023. 8. 31.
개발자가 사용자와 소통하는 방법(Nonetype object has no attribute write, pyinstaller) 개발자가 사용자와 소통하는 방법(Nonetype object has no attribute write, pyinstaller) 부제 : 오픈마켓 상품 정보 수집기 버그를 고치며.. 1. 사건 Pyinstaller를 이용해서 패키징 한 EXE 파일을 지인에게 전달하고, 또 다른 버그가 생겼다 하지만 내가 테스트할 때 발생하지 않은 버그라 당황했다. 2. 사용자 환경 문제 "사용자가 프로그램을 실행하는 환경이 뭐가 잘못된 건가?"라고 처음엔 생각했다. 사실상 최악의 접근방식이었다. 실행하는 환경에 상관없이 동작하도록 만들었어야 하는 것이지 사용자는 잘못 없다. 3. 원인 파악 먼저 Pyinstaller 도큐먼트에서 5.7 버전에서 Bugfix 내용을 확인할 수 있다 Pyinstaller Docs 설명 패키징.. 공감수 4 댓글수 0 2023. 7. 12.
Pyside6로 만든 EXE 파일을 수정하다 알게 된 것들 Pyside6로 만든 EXE 파일을 수정하다 알게 된 것들 최근에 Pyside6을 가지고 프로그램을 만들어서 지인에게 제공했다 쿠팡 상품 정보 수집기 -> 오픈 마켓 상품 정보 수집기 쿠팡 상품 정보 수집기 -> 오픈 마켓 상품 정보 수집기 로그인 로그인 기능 추가 DataBase는 Ncloud의 CloudDB를 사용 중 2. 카테고리 및 연관 키워드 수집 사용자의 엑셀 데이터를 입력받고 오픈 마켓별 junnyhi.tistory.com 하루뒤에 피드백이 왔는데 버그가 엄청 많았다. 그래서 버그들을 수정하면서 알게 된 것들을 기록으로 남기려고 한다. 1. Lazy initialization Pyside6을 사용해 EXE 파일을 만들고 실행하는 경우, 로드시간이 생각보다 오래 걸렸다 따라서 특정 객체의 초기.. 공감수 3 댓글수 2 2023. 7. 9.
NCloud API 배포 시, Usage Plan 적용하기 NCloud API 배포 시, Usage Plan 적용하기 NCloud를 사용해서 FastAPI 배포 시, 사용자 별로 사용량 측정 어떻게 하는지 궁금해서 찾아봤는데 아주 좋은 서비스를 제공하고 있더라.. Usage Plan 생성 2개의 Usage Plan을 만들었다 월 10회를 사용할 수 있는 홍길동 월 30회를 사용할 수 있는 김나박 API KEYS 각 사용자들이 사용할 수 있는 API KEYS 생성 그다음 Products 카테고리에서 방금 만든 API KEYS를 등록 그다음 배포할 Product 클릭해서, Usage Plan을 연결 (Usage Plan에서 Stage 선택을 할 수 있는 걸 나중에 발견했다) 그다음 API KEYS 버튼을 누르고 Stage 별로 Plan을 등록했다 월 1회만 사용가능.. 공감수 2 댓글수 0 2023. 6. 26.
VScode를 사용했더니 kswapd0 사용률이 100%?.. VScode를 사용했더니 kswapd0 사용률이 100%?.. API 배포를 위한 개발용으로 네이버 클라우드 플랫폼에 서버를 하나 두고 사용하고 있다 최근 들어 계속 아래 그림처럼, CPU랑 MEM 사용량이 100% 찍어 느려지거나 재부팅되는 현상이 발생됐다 그래서 Top 명령어 실행해두고 곁눈질로 모니터링하면서 업무를 하던 도중, kswapd0라는 놈을 잡아냈다 참고: WhaTap - 리눅스 free 명령어로 메모리 상태 확인하기 SWAP 스왑은 디스크의 일정 부분을 메모리 공간 부족 시 메모리 처럼 사용하기 위해 설정해 둔 공간으로, 커널은 메모리가 부족한 상황에서는 Buffer와 Cache로 할당된 것 중에 자주 사용되지 않는 것들을 비우고 메모리에 할당하려고 시도함 또한 메모리에 있는 데이터 중 .. 공감수 2 댓글수 2 2023. 6. 13.
Race Condition과 Thread.Lock (Feat. 파이썬) Race Condition과 Thread.Lock (Feat. 파이썬) NCP에서 Fast API관련한 서버가 계속 OOM이 발생해서 원인을 파악하던 도중.. 갑자기 딴 길로 샜다. Race Condition 동시성 프로그래밍에서 발생하는 상황으로, 두개 이상의 동시적인 연산(스레드나 프로세스에 의해 수행되는)이 자원에 접근하고 그 순서에 따라 결과가 달라지는 상황 예를 들어, 두 스레드가 동시에 같은 메모리 위치에 쓰기 작업을 수행하려고 할 때, 어느 스레드가 먼저 쓰기 작업을 수행하느냐에 따라 결과가 달라질 수 있음 따라서 동시성 프로그래밍을 할 때는 Race Condition을 방지하기 위한 동기화 메커니즘(뮤텍스, 세마포어)을 사용해서 한 번에 오직 하나의 연산만이 해당 자원에 접근할 수 있도록 .. 공감수 2 댓글수 0 2023. 6. 9.
dict.fromkeys()에 관한 사실 dict.fromkeys()에 관한 사실 나는 파이썬 내장 함수인 dict.fromkeys()를 자주 사용하는 편인데, 처음 회사를 다닐 때 본 뒤로 자주 사용하는 것 같다. 사용하는 이유 간결성, 내장함수, 그리고 핵심이유는 "불변 객체를 사용한 초기화"가 유용해서 자주 사용한다. 하지만 오늘 아래와 같은 만행을 저질렀다. 간략한 예시를 들어보겠다. key = ['key1', 'key2', 'key3'] dict1 = dict.fromkeys(key, []) dict1['key1'].append('value1') print(dict1) 여기서 내가 예상한 기댓값은 아래였지만, {'key1': ['value1'], 'key2': [], 'key3': []} 실제 결과는 다음과 같았다. {'key1': [.. 공감수 2 댓글수 0 2023. 5. 26.
코드 품질 향상을 위한 FastAPI 기반 코드 리팩토링 코드 품질 향상을 위한 FastAPI 기반 코드 리팩토링 서론 회사 솔루션 제공을 위한 API를 NCP(Naver Cloud Platform)에서 배포하기 위해 몇 가지 개선을 진행했다. Before 기존 코드는 Fast API를 사용하고 있고 Input과 Output만 존재하는 단순한 형태였다. Images를 입력받아서 Json 형태를 리턴해주고 있다. 해당 코드를 사용해 배포를 진행한다면.. After 3가지 단계 추가 입력 유효성 검사 필요한 데이터가 누락되었을 때 처리하는 방식을 추가함 예를 들어 'images' 필드는 비워둘 수 없음 형식 검사 및 예외 핸들러 추가 입력된 이미지 데이터가 원하는 형식인지 확인하는 검사 잘못된 형식의 데이터가 들어올 경우 적절한 오류 메시지 반환 로그메시지 기존 .. 공감수 2 댓글수 0 2023. 5. 22.
ChatGPT를 사용한 뉴스 요약 : 크롬 익스텐션 개발기 ChatGPT를 사용한 뉴스 요약 : 크롬 익스텐션 개발기 서론 아래 포스팅을 보면 알 수 있듯이, ChatGPT를 사용해 해외 뉴스를 매일매일 요약하고 있다. 미증권 뉴스 스크랩핑(Node.js , Express, Puppeteer, Koyeb) 미 증권 뉴스 스크랩핑 하기 푼돈으로 주식하는 서학개미로서, 주식 뉴스는 조금이라도 읽자라 생각해서 주식 블로그를 하고 있는데 블로그에 글이 올라가는 루틴은 아래와 같다 기사의 본문을 junnyhi.tistory.com 불편했던 점은 ChatGPT가 대화의 히스토리를 기억한다고 하지만, 대화가 길어지면 처음 요구 했던 내용을 종종 잊어버린다 그렇기 때문에 뉴스 요약을 하는 과정 중간 중간 마다 엉뚱하게 요약을 하는 일이 발생했다. 그래서 매 번 대화할때마다 원.. 공감수 2 댓글수 0 2023. 5. 13.
꼬리에 꼬리를 무는 Proxy 이야기 꼬리에 꼬리를 무는 Proxy 이야기 프록시란? 서버 클라이언트 사이에 중계기로써 대리로 통신을 수행하는 것 프록시 서버 그 중계기능을 하는 것(컴퓨터 시스템, 응용프로그램)을 프록시 서버라고 함 프록시를 왜 사용하는가? 대리로 통신을 수행하여 보안성, 성능, 안정성 향상 시키려고 다른 장점은? 프록시 서버 중 일부는 요청받은 내용들을 캐싱해서 저장해 둠 저장해서 뭐 하는가? 클라이언트 서버는 계속 통신하며 데이터를 전달하고 중복되는 데이터도 반복적으로 전달하게 됨 클라이언트가 캐시 내부에 존재하는 정보 요청 시, 프록시는 해당 데이터를 서버에서 가져 올필요 없이 가지고 있는 캐시에서 전달해 줌 이는 외부 트래픽이 줄어들어 네트워크 병목 현상 방지, 클라이언트는 빠른 속도 서비스 제공 가능 프록시 종류?.. 공감수 2 댓글수 0 2023. 5. 8.
아이디어스 스크래퍼(Puppeteer, Electron) 아이디어스 스크래퍼(Puppeteer, Electron) 서론 "단순 스크래핑만 양산형으로 만드네 이 사람?"이라고 물어본다면 할 말 없긴 하지만, 데스크톱 애플리케이션으로 뭐가 좋을까 찾는 중이라고 핑계를 대본다.. 1. Electron 선택 이유 Node.js Desktop app이라고 검색하니까, Electron이 제일 첫 번째 나왔다. 그게 전부다 증거자료를 첨부하겠다. 2. Electron이 최선의 선택이었나? 그건 잘 모르고 그냥 빠른 선택을 했다 앱 실행 화면 스크래핑 결과 화면 3. 역경과 코난 아니고 고난 할 줄 아는 언어라고는 파이썬이라 어려웠음 index.html의 발전과정 scripts 태그 내, 직접 작성하다 보니 너무 길어지고 흉물 그 자체로 변했다. 외부 파일 추가해서 사용하니.. 공감수 2 댓글수 0 2023. 5. 7.
[강좌] 개발자를 위한 ChatGPT 프롬프트 엔지니어링 - Andrew Ng 개발자를 위한 ChatGPT 프롬프트 엔지니어링 서론 앤드류 응 교수님과 OpenAI의 Cookbook 공식 가이드를 만드신 직원분이 1시간 정도 되는 짧은 강의랑 무료로 출시해서 바로 시청하게 되었다. 이번 포스팅은 해당 강의를 보고 간략하게 남겨본다. ChatGPT Prompt Engineering for Developers What you’ll learn in this course In ChatGPT Prompt Engineering for Developers, you will learn how to use a large language model (LLM) to quickly build new and powerful applications. Using the OpenAI API, you’ll..... 공감수 2 댓글수 2 2023. 4. 29.
쿠팡 상품 정보 수집기 v1.1.0 쿠팡 상품 정보 수집기 v1.1.0 버전까지 붙여서 있어 보이지만 별 다른 기능은 없다. 이번에는 2가지 기능을 추가했다. 상품 제목의 평균길이와 평균 키워드 수 상품 이름에서 가장 자주 사용되는 단어 Top 10 실행화면 공감수 0 댓글수 0 2023. 4. 29.
꼬리에 꼬리를 무는 웹 스크래핑/크롤링 이야기 꼬리에 꼬리를 무는 웹 스크래핑/크롤링 이야기 웹 스크래핑 vs 크롤링 차이점은 뭐지? 웹에서 데이터를 수집하는 기술로, 비슷한 개념이지만 목적과 수행 방식에서 차이가 있음 크롤링은 웹페이지 간의 링크를 자동으로 탐색하는 과정 스크래핑은 웹 페이지에서 특정 데이터를 추출하는 과정 웹 페이지 간의 링크를 따라 자동으로 탐색한다는 게 뭔가? 웹크롤러(또는 스파이더)가 웹 페이지에 있는 하이퍼링크를 사용해 페이지를 이동하면서 데이터를 수집하는 과정 수집된 웹 페이지들은 검색 엔진의 인덱싱 과정을 거쳐 검색 결과를 볼 수 있음 웹 페이지에 있는 하이퍼링크는 허곰의 코딩블로그 검색 엔진의 인덱싱 과정 수집한 웹 페이지 데이터를 분석 -> 저장 -> 정렬해서 사용자에게 적절한 검색 결과를 제공할 수 있는 구조로 만.. 공감수 2 댓글수 0 2023. 4. 27.
쿠팡 상품 정보 수집기(Python, Pyside6) 쿠팡 상품 수집기(Python, Pyside6) 파이썬 GUI라고 검색하니까 대표적으로 Pyside랑 PyQt 프레임워크를 사용한다고 하길래, Pyside6을 사용했다. Pyside6 선택 이유 가장 큰 선택이유는 PyQT는 GPL 또는 상용 라이선스를 사용하고 Pyside는 LGPL 라이선스를 사용한다는 것이다 여기서 LGPL이란, Lesser General Public License의 약자로서 자유 소프트웨어 라이센스이다. 결론적으로 LGPL은 상용화에 사용해도 GPL보다는 덜 제약을 받는다길래 사용했다... 실행화면 느낀 점 Qt Designer를 사용했는데, 버튼들 위치 수정 띡띡 하고 ObjectName만 던져주고 사용하는 게 너무 편리하다. 코드 中 threads = [] for thread_.. 공감수 2 댓글수 0 2023. 4. 23.
전혀 모르고 있다가 파이썬 3.12가 나왔다길래 읽어봤다는 내용 전혀 모르고 있다가 파이썬 3.12가 나왔다길래 읽어봤다는 내용 물론 7번째 알파 릴리즈 버전이었다. 오류메시지가 굉장히 친절해졌다 첫 번째, 아래 코드를 3.11과 3.12.0a7에서 동작시켜봄 class A: def __init__(self): self.blog = '허곰의 코딩블로그' def Blog(self): somethin = blog a = A() print(a.Blog()) NameError 3.11 버전 3.12 버전 그리고 이름이 살짝 틀린 모듈 임포트 from collections import chainmap ImportError 3.11 버전 3.12 버전 결론 친절함 폼 미쳤다.. 공감수 2 댓글수 0 2023. 4. 21.
왜 웹 브라우저 자동화 도구(Selenium, Pupeteer)는 로그인 상태가 유지되지 않는가? 왜 웹 브라우저 자동화 도구(Selenium, Pupeteer)는 로그인 상태가 유지되지 않는가? 때는 타오바오 중국 쇼핑몰 파싱 하던 도중, 타오바오 특징이 로그인을 안 하면 쇼핑 검색을 할 수가 없어서 로그인 부터 자동화를 시도했다. 로그인 과정에서 슬라이딩 캡차?가 존재하는데, 흠.. 헛짓거리의 흔적.. // 슬라이더 요소의 위치와 크기를 얻습니다. const sliderElement = await page.$('selector'); const sliderBox = await sliderElement.boundingBox(); ... // 슬라이더의 시작점으로 마우스를 이동합니다. const sliderStartX = sliderBox.x + sliderBox.width / 2; const slid.. 공감수 3 댓글수 0 2023. 4. 16.
꼬리에 꼬리를 무는 Spark와 RDD, DataFrame, Dataset 이야기 꼬리에 꼬리를 무는 Spark와 RDD, DataFrame, Dataset 이야기 서론 실습이 더 중요하지만... 이론적으로 공부했다. 노트북아 힘내렴 Spark에서 사용할 수 있는 데이터 형태에는 뭐가 있나? Apache Spark에서는 RDD(Resilient Distributed Dataset), DataFrame 및 Dataset 3가지 데이터 형태를 사용 가능 Spark의 기본 컨셉이 RDD(Resilent Distributed Datasets) 임 3개 중에 뭐 사용? 데이터 특성에 따라 적합한 데이터 형태를 선택해야 함 1. RDD (Resilient Distributed Dataset) Spark에서 가장 초기에 개발된 데이터 형태 불변성과 탄력성을 가지는 분산된 객체 컬렉션 RDD는 직접.. 공감수 2 댓글수 0 2023. 4. 15.
[Update] 미 증권 뉴스 스크래핑 : 클라우드타입(CloudType - Paas) [Update] 미 증권 뉴스 스크래핑 : 클라우드타입(CloudType - Paas) 이런 내용입니다. API를 주기적으로 호출하기 위해 Github Action을 사용했지만 큰 변수가 있었고, 변수를 해결하기 위해 국내 PaaS 클라우드 호스팅 서비스를 사용한 내용이다. 큰 변수? 그것은 Github Action에 사용량 제한이 있어서 10분마다 API를 호출하는 나한테는 2000분으로는 부족하다. 그래서 나는 이 부분을 CloudType의 힘을 빌리기로 했다. 동작 흐름 1. CloudType CloudTyped은 국내 PaaS 클라우드 호스팅 서비스이다. 모두의 플랫폼팀, 클라우드타입 클라우드타입은 클라우드 기반 애플리케이션을 빠르게 개발하고 배포할 수 있는 클라우드 애플리케이션 플랫폼입니다. c.. 공감수 2 댓글수 0 2023. 4. 6.
[Fix] 미 증권 뉴스 스크랩핑 : Error 524 - A timeout occurred [HotFix] 미 증권 뉴스 스크랩핑 - (Error 524 - A timeout occurred) 무료 인스턴스를 유료 인스턴스 처럼 사용 한 나의 잘 못이다 Error 524 Cloudflare가 성공적으로 원본 웹 서버에 연결되었지만, 기본값인 100초의 연결 시간 동안 원본 웹 서버가 HTTP 응답을 제공하지 않았음 Cloudflare 웹사이트와 애플리케이션의 성능, 전달 가능성 및 온라인 보안을 최적화하기 위해 다양한 제품에 걸쳐 콘텐츠 전달 네트워크(CDN) 및 DNS 서비스를 제공하는 미국 회사 원인 단순하게 그냥 스크래핑 양이 너무 많다. 해결 방법 10분 이내 올라온 뉴스만 가져 옴 동시에 스케줄러도 10분 단위로 동작 if (minutesAgo 공감수 1 댓글수 0 2023. 4. 3.
미증권 뉴스 스크랩핑(Node.js , Express, Puppeteer, Koyeb) 미 증권 뉴스 스크랩핑 하기 푼돈으로 주식하는 서학개미로서, 주식 뉴스는 조금이라도 읽자라 생각해서 주식 블로그를 하고 있는데 블로그에 글이 올라가는 루틴은 아래와 같다 기사의 본문을 다 읽는 것이 아니라, 요약본을 읽는 정도이다. 2시간 정도 쓰는 것 같은데 이렇게 많이 쓰고 싶지는 않았고 시간을 좀 줄이고자 했다. 그래서 아래 2단계를 자동화하려고 했지만, 아쉽게도 착각한 게 있었다. ChatGPT를 결제해서 쓰는데 API는 그냥 사용 가능한 줄 알았다. ㅋㅋㅋ (알고 보니 별도 요금) 스타터들에게 5$ 를 지원해 주는데. 이걸로는 택도 없다. 그래서 5$ 로 API를 얼마나 사용할 수 있나 계산을 해봤다. (가격 측정은 1000 토큰(약 750단어) 당 가격이 지불된다. 1000토큰 당 가격은 0... 공감수 2 댓글수 0 2023. 4. 3.
지우개 아니고 Erase coding in hadoop 3.x Erase Coding 이란? What's the Erase coding in hadoop 3.x!! Erase Coding 왜 사용? HDFS 기본 복제 체계는 스토리지 공간 및 기타 리소스에 200% 오버헤드가 있음. 기본적으로 1개의 원본과 2개의 복제본을 생성하기 때문임 따라서 동일한 수준의 내결함성을 제공하고 훨씬 적은 저장 공간을 사용하는 EC(Erase Coding)을 사용 Erase Coding Schema 아래는 하둡 문서에서 가져왔다. The EC schema: This includes the numbers of data and parity blocks in an EC group (e.g., 6+3), as well as the codec algorithm (e.g., Reed-Solo.. 공감수 2 댓글수 6 2023. 3. 30.
아파치 하둡 입문 강좌 정리 아파치 하둡 입문 강좌 정리 이번 포스팅은 [토크 ON세미나] 아파치 하둡 입문 1강 ~ 4강의 내용과 추가적으로 공부한 내용을 정리한 글입니다. 강좌 [토크ON세미나] 아파치 하둡 입문 왜 하둡인가? 데이터 홍수의 시대, 하둡은 비정형 데이터를 포함한 빅데이터를 다루기 위한 가장 적절한 플랫폼 구글의 GFS 발표 웹 검색엔진을 만들려면 크롤링을 해야 하고 크롤링한 데이터를 저장한 다음에 인덱싱 라이브러리로 색인을 해야 함 하지만 웹에서 수집되는 데이터는 매우 많고 그것은 모두 인덱싱 하면 많은 데이터를 분산/병렬 처리를 해야 하는 이슈 위 같은 문제 해결을 위해 2003년에 구글에서 GFS 아키텍처를 발표함 MapReduce 2004년, 구글 개발자 제프 딘이 MapReduce 논문 발표 구글에서 큰 .. 공감수 1 댓글수 0 2023. 3. 27.
효율적인 대규모 크롤링 시스템 운영을 위한 Fargate on EKS 적용하기 - 3편 효율적인 시스템 운영을 위한 Fargate on EKS 적용하기 - 3편 본 글은 시스템 환경 개선을 위해 Fargate on EKS 적용하여 주니어 입장에서 멘땅에 헤딩하며 구축한 과정의 이야기다. 다음과 같은 분들이 읽으면 좋습니다. EKS를 사용해보고자 하는 엔지니어 입문자 피드백을 남기고 싶은 고수분들 지나가는 행인 들어가기 전에 알면 좋은 것 VPC Peering VPC 피어링은 Amazon Web Service에서 제공하는 가상 프라이빗 클라우드(VPC) 간의 네트워크 연결 기술 VPC 끼리는 논리적으로 분리되어 있는데, VPC 피어링 연결은 두 VPC 간에 트래픽을 라우팅 하는 연결 사용자의 자체 VPC , 다른 AWS 계정 VPC와 VPC, 다른 리전 VPC 사이 피어링 연결을 만들 수 있.. 공감수 2 댓글수 0 2023. 3. 23.
Dag를 알고 있는 녀석은?(K8sExecutor & K8sPodOperator) K8sExecutor & K8sPodOperator 가 실행하는 Dag Airflow 사용하면서 궁금 했던 점을 정리하였음 다음과 같은 분들이 읽어 주시면 감사하겠습니다. Airflow & K8s를 사용해 엔지니어링을 시작하시는 분들 피드백을 남겨주실 고수분들 아무나 1. K8sExecutor &K8sPodOperator 동작 과정 을 요약하자면 수행해야 할 시점이 된 태스크를 스케줄러가 찾는다, Executor는 동적으로 Airflow 워커를 POD 형태로 실행한다. 해당 워커 POD는 개발자가 직접 정의한 컨테이너 이미지를 POD 형태로 또다시 실행한다 아래가 요약 과정을 그림으로 나타낸 것 이다. 그림 출처 : 라인 테크블로그 설명 끝.. 동작 과정만 놓고 보면 간단한데, 여기서 궁금 한 점은 K8.. 공감수 2 댓글수 0 2023. 3. 21.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.