Portfolio
/
주요 프로젝트
/
Hadoop , Spark MapReduce Job 실습
Search
Hadoop , Spark MapReduce Job 실습
상태
완료
시기
2022/11/28 → 2023/04/07
역할
기획
BigData
SW개발
참여인원
1
소속
개인
사용 기술
FastCampus_Hadoop
gegurakzi
프로젝트 결과
프로젝트의 목적
Fastcampus에서 제공하는 데이터 엔지니어링 강좌를 수강한다
Hadoop MR의 컨셉과 원리를 이해한다
Apache Spark의 컨셉과 원리를 이해하고 응용하여 데이터 처리를 수행한다
프로젝트 계획
1.
Fastcampus의 강좌를 수강하며 학습 내용을 기록한다
2.
Python, Scala를 사용하여 작성한 코드를 Github에 기록한다
프로젝트 진행
빅데이터 플랫폼
빅데이터 아키텍쳐
데이터 파이프라인
데이터 파이프라인 패턴
Hadoop Pseudo-distributed
HDFS CLI
HDFS Java API
YARN
MapReduce
MapReduce 지원 기능
MapReduce Example Jobs
MRUnit
Mockito
Spark
Spark Web UI
Spark Software Components
How Spark works
Hadoop-Spark Cluster
Scala WordCount 작성 및 빌드
Spark WordCount 작성 및 빌드