Spark 관리 및 모니터링 기능을 제공하기 위한 Web UI는 크게 3가지가 있다.
Driver UI
사용자가 실행하는 작업인 Spark 어플리케이션에서 제공하는 UI이며다. SparkContext가 web UI를 실행하기 때문에 작업 수행중에만 볼 수 있다.
수행중인 애플리케이션의 대쉬보드 역할을 하며 다음과 같은 정보를 표시한다.
•
각 작업의 스케쥴 정보
•
에오리와 같은 자원 사용량
•
RDD의 크기
•
실행 환경 정보
•
분산환경에서 실행중인 executor의 정보
기본 포트는 4040이다. 해당 포트가 사용중이라면 포트 번호를 1씩 증가시키며 가용한 포트를 찾는다.
History Server
작업이 종료된 후 로그를 확인하기 위한 UI이다. 종료된 작업의 이벤트 로그룰 읽어 Driver UI의 형태로 표시한다.
Spark 작업의 로그를 생성할 디렉토리를 spark-defaults.conf와 같은 설정 파일에 작성하여 History Server를 설정할 수 있다.
# spark-defaults.conf example
spark.eventlog.enabled true
spark.eventlog.dir file:///user/spark/history
spark.history.fs.logDirectory file:///user/spark/history
spark.history.ui.port 18080
...
YAML
복사
기본 포트는 18080이다.
Cluster Manager
Spark standalone, YARN 등 클러스터 자체 자원 관리자가 제공하는 UI이다.
Spark Standalone Web UI
Spark 에는 자체적인 자원 관리자가 탑재되어있어 클러스터를 간편하게 설정할 수 있다. Standalone Web UI는 이 자체적인 자원관리자가 제공하는 UI이다. 기본 포트는 8180이다.
YARN WEB UI
YARN에서 제공하는 UI에서는 Spark 뿐만 아니라 Hive, HBase, FLink 등 다양한 작업들을 확인할 수 있다. 기본 포트는 8088이다.
