구자환 교수 빅데이터 강좌

소프트웨어 패러다임

빅데이터 처리 시스템의 목표

시스템의 확장

다양한 빅데이터 처리 시스템

Hadoop 클러스터 동작방식

빅데이터 처리 시스템 도입 계획

빅데이터 처리 프로세스

빅데이터 처리 인프라

빅데이터 수집 SW

빅데이터 저장 SW

빅데이터 처리 SW

빅데이터 시각화 SW

빅데이터 관리 SW

빅데이터 처리 방식

빅데이터 처리 솔루션

빅데이터 처리 시스템 HW

Hadoop의 계층

Hadoop의 빅데이터 처리 방식

Hadoop의 구성 요소

Apache Hadoop Ecosystem

MapReduce

HDFS

Hadoop Standalone with Docker

Hadoop Pseudo-distributed with Docker

Hadoop Fully-distributed with Docker

컨테이너 간 SSH 키 공유

Hadoop High-Availability Fully distributed with Docker

Docker Compose

Hadoop 클러스터 구축 과정

Pig

Hive

Metastore

Hive 테이블

In-memory 데이터 처리 기반 S/W

Spark

Spark RDD

Spark Streaming

Airflow

Apache Flume

Apache Kafka

Kafka Producer