Search

빅데이터 처리 시스템의 목표

시스템에 대한 다양한 요구사항을 통해 시스템이 가져야 할 원칙을 세울 수 있다. 총 세가지의 원칙을 소개한다.
결함 허용 시스템(Fault Tolerance)
한대의 서버가 1년에 한번 장애가 발생한다면, 365개의 서버를 분산구축 한 distributed 서버환경에서는 하루에 한번씩 장애가 발생하게 된다. 빅데이터를 처리하기 위해 구축한 방대한 클러스터에서는 거의 매시간마다 장애가 발생할 수 있다.
모든 시스템은 애플리케이션 문제 또는 하드웨어 리로스 문제로 인해 장애가 발생할 수 있다.
장애가 발생해도 다른 서버에서 장애를 극복할 수 있도록 하는 대체 시스템이나 대응 체계를 통해 시스템 운영을 계속할 수 있게 해야한다.
빅데이터 처리 시스템중 하나인 하둡(Hadoop)에서는 결함 허용 전략으로 클러스터 내의 다른 노드에 작업을 재할당 하거나 작업 재수행을 자동으로 수행하도록 설계되어있다.
저비용 시스템(Cost Effective System)
시간에 따라 크기와 속도가 증가하는 빅데이터의 특성 상, 구축 초기에는 비교적 낮은 성능과 저렴한 비용의 시스템을 구축하는것이 더욱 효율적이다. 시간에 따라 확장성을 염두하고 트래픽에 따라 첨진적으로 확장해나가면 많은 비용 절감 효과를 얻을 수 있다.
하둡은 수평확장이 기능한 구조로 설계되어 저비용 시스템 구축이 가능하다.
기존 시스템과의 연계성(Integration System)
빅데이터 처리 시스템을 도입하기 이전, 기존 활용되던 DBMS와 연동되어 구축할 주 있어야 한다.