Search

데이터웨어하우스 설계와 구축

상태
진행 중
시기
2024/02/19 → 9999/12/31
역할
기획
DB
BigData
Deployment
참여인원
1
소속
개인
사용 기술

0. 준비 사항

사용 기술

•
Hadoop HDFS, MapR
•
MySQL
•
Hive
•
Airflow
증권사 주식 거래 예시 ERD
Draw ERD with your team members. All states are shared in real time. And it's FREE. Database modeling tool.
https://www.erdcloud.com/d/3NZdbWtiQghuF3uvf
증권사 주식 거래 예시 차원 모델
Draw ERD with your team members. All states are shared in real time. And it's FREE. Database modeling tool.
https://www.erdcloud.com/d/4TT6i8uQKhp55v9gG

1. 데이터 생성

github.com
https://github.com/gegurakzi/dw_securities/tree/main/dags

2. 차원 모델링

•
생성한 데이터셋을 통해 다양한 분석 시나리오를 가정하여 차원 모델을 설계
•
차원 데이터의 변경을 반영하거나 계층 구조를 가진 데이터를 효과적으로 적재하도록 설계
2. 차원 모델링

3. DW 구축

•
Hive에 DW를 구축하고 HiveQL을 통해 테이블 파티셔닝을 진행
3. DW 구축

4. ETL 계획

•
데이터를 알맞은 과정으로 적재하기 위해 ETL 시퀀스를 계획
4. ETL 계획
Made with