Search

주요 프로젝트

Search

0. 준비 사항

사용 기술

•
Hadoop HDFS, MapR
•
MySQL
•
Hive
•
Airflow

1. 데이터 생성

데이터웨어하우스 설계와 구축
2024/02/19 → 9999/12/31
기획
DB
BigData
Deployment
개인
진행 중

시작 - Livy를 통한 Spark Cluster 작업 제출

사내 개발중인 SW가 큰 용량의 데이터셋을 Spark로 연산 시 OOM 에러가 뜨는것을 발견하였다.
이 SW는 Spark 자체를 내장하고 local에서 4개의 executor를 띄워 연산하기에, JVM이 데이터의 용량을 버티지 못하게 된 것이다.
이 때문에 SW와 Spark 엔진을 분리하고 Spark 자체가 K8s 에서 자원을 할당받아 연산을 수행하도록 구조를 수정하였다.
또한 Spark 클러스터에 간편하게 작업을 제출할 수 있도록 Apace Livy를 통해 작업을 관리할 수 있도록 구성 하였다.
Livy의 동작 구조는 다음과 같다.
Spark Standalone, Spark on K8s with Livy (feat. Ozone)
본 프로젝트는 삼성청년SW아카데미에서 교육과정의 일환으로 진행한 프로젝트 입니다.
특화 - 자율의 두번의 프로젝트를 통해 진행되었습니다.

프로젝트 결과

서비스 기능

프로젝트 목표

웹 사이트 이용자의 사이트 내 동선을 파악하여 수집하고 이를 처리, 분석하여 사이트 관리자 및 운영자에게 사이트 내 흐름에 대한 시각화 정보를 제공한다.
중형의 트래픽이 발생하는 웹사이트에서 고객 정보를 수집하여 안정적으로 이를 저장, 처리한다.
데이터 분산에 대해 이해하고 더욱 효율적인 구조와 방식을 연구한다.

프로젝트 계획

웹 기반 고객 Behavior Flow 분석 대시보드 서비스 기획 및 개발
2023/02/20 → 2023/05/19
기획
BigData
BE
Deployment
DB
협업
완료
본 프로젝트는 삼성청년SW아카데미에서 교육과정의 일환으로 진행한 프로젝트 입니다.

프로젝트 결과

수상 기록
아키텍쳐

프로젝트의 목적

새로운 기술을 스스로 학습하고 접목하여 좋은 코드와 개발환경을 만든다
애자일한 협업의 본질을 이해하고 더 나은 자세를 배운다

프로젝트 계획

1.
프로젝트 기획을 통해 알맞은 아키텍쳐와 DB 등을 설계한다
2.
세부 기능을 명세하고 프론트엔드, 백엔드 개발자에게 알맞은 역할을 배분한다
3.
개발과 동시에 회의와 문서화를 진행하여 소통과 협업을 이끌어 나간다
온라인 강의 스터디 플랫폼 기획 및 개발
2023/01/09 → 2023/02/17
기획
BE
DB
FE
Deployment
협업
완료
FastCampus_Hadoop
gegurakzi

프로젝트 결과

프로젝트의 목적

Fastcampus에서 제공하는 데이터 엔지니어링 강좌를 수강한다
Hadoop MR의 컨셉과 원리를 이해한다
Apache Spark의 컨셉과 원리를 이해하고 응용하여 데이터 처리를 수행한다

프로젝트 계획

1.
Fastcampus의 강좌를 수강하며 학습 내용을 기록한다
2.
Python, Scala를 사용하여 작성한 코드를 Github에 기록한다

프로젝트 진행

Hadoop , Spark MapReduce Job 실습
2022/11/28 → 2023/04/07
기획
BigData
SW개발
개인
완료
본 프로젝트는 삼성청년SW아카데미에서 교육과정의 일환으로 진행한 프로젝트 입니다.

프로젝트의 목적

Spring Boot를 이해하고 각종 디자인 패턴을 적용하여 단기간에 웹서비스를 개발한다.
페어프로그래밍을 통해 효과적인 분업을 진행하고 더 나은 자세를 배운다

프로젝트 계획

1.
프로젝트 기획을 통해 컨벤션 등을 정의한다.
2.
FE, BE

프로젝트 진행

프로젝트 기획

프로젝트 명세 및 분담

Spring Boot 기반 부동산 거래 조회 API 서버 개발
2022/08/01 → 2022/11/25
기획
BE
DB
협업
완료

프로젝트 결과

5개의 Docker 컨테이너를 통해 분산 클러스터를 구성
만들어진 데이터 플랫폼을 개선하여 추후 프로젝트에서 사용
웹 기반 고객 Behavior Flow 분석 대시보드 서비스 기획 및 개발

프로젝트의 목적

Hadoop Ecosystem을 직접 구축하며 Spark, Airflow, Kafka 와 같은 데이터 툴들의 컨셉과 사용법을 익힌다.

프로젝트 계획

1.
Hadoop의 컨셉을 학습한다.
2.
Hadoop 기반의 분산 클러스터를 구성한다.
Hadoop Ecosystem 클러스터 자체 구축
2022/04/09 → 2022/06/04
기획
DB
BigData
Deployment
개인
완료
컴퓨터비젼 딥러닝 애플리케이션 제작
2021/09/06 → 2021/12/05
SW개발
AI
회사
완료