하둡, 스파크, 에어플로우(feat. Docker)
수많은 시련. 끝에 하둡이란 괴물을 설치하고 로컬에 띄우는 것을 성공했다..
감격스러워서 사진을 남기고 설치과정을 정리해서 올려야겠다.
느끼는 건데, 역시 도커는 최고다..
첫 시도할 때, "아 그냥 처음부터 다시 하자"의 처음의 기준이 달라진다.
(컴퓨터 사양이 안 좋아서 3개 정도만 로컬에 두는..)
'MLOps > Data' 카테고리의 다른 글
꼬리에 꼬리를 무는 Spark와 RDD, DataFrame, Dataset 이야기 (0) | 2023.04.15 |
---|---|
지우개 아니고 Erase coding in hadoop 3.x (6) | 2023.03.30 |
아파치 하둡 입문 강좌 정리 (0) | 2023.03.27 |
What's the Rack Awareness in HDFS (0) | 2023.03.03 |