배치 처리
일간, 월간, 연간 등 주기적으로 작업을 일괄적으로 수행하는 방식이다.
배치 처리의 대표적인 툴은 MapReduce, Hive, Pig 등이 있다.
배치 처리 방식의 핵심인 ETL은 주기적 Extraction, 추출한 데이터의 Transformation, 데이터를 받아오는 Load 프로세스로 구성된다.
배치 처리 수행의 스케줄링을 위해 Unix/Linux에선 cron 명령어나 at, Windows에선 Job Scheduler를 사용한다.
대화형 처리
User Interface를 통한 원하는 질의에 대해 수 초 내 답을 얻을 수 있는 처리 방식이다.
대화형 처리의 대표적인 툴은 Hive, Pig, Spark 등이 있다. 툴들의 엔진 내에 UI가 내장되어있어 CLI를 통해 사용자의 명령을 받을 수 있다.
실시간 처리
수 초 미만 또는 1초 미만의 실시간 처리 및 이벤트성 응답을 처리할 수 있는 방식이다. 데이터가 수집되는 즉시 실시간으로 전처리, 연산, 패턴 분석을 하여 끊임없는 스트림 형태의 데이터에 대해 효과적이다. 결제나 비정상 카드 사용 등에 대한 데이터 분석에 사용된다.
실시간 처리의 대표적인 툴은 Storm, Spark Streaming 등이 있다.
