Data 수집 및 처리를 위한 Batch Job

오픈소스 기반의 완전 관리형 클라우드 분석 서비스를 위한 아키텍처

아키텍처 소개

Cloud Hadoop은 빅데이터를 쉽고 빠르게 처리할 수 있는 오픈소스 기반의 완전 관리형 클라우드 분석 서비스입니다. Hadoop 클러스터를 구성하고 다양한 하둡 에코 시스템의 모듈을 처음부터 셋팅하는 작업은 다소 복잡하고 많은 시간이 소요됩니다. Cloud Hadoop 상품은 Hadoop 클러스터를 쉽고 간편하게 구축하고 관리할 수 있는 서비스로, 오픈 소스 컴포넌트가 구축된 클러스터를 사용자가 자유롭게 사용할 수 있다는 것이 특징입니다. Hadoop, HBase, Spark, Hive 등의 오픈 소스 프레임워크를 통해 사용자는 대량의 데이터를 분석하는 작업을 바로 시작할 수 있습니다. 또한 Cloud Hadoop 클러스터에 대한 정보 및 상태를 관리 할 수 있는 UI를 제공할 뿐만 아니라 Apache Ambari를 이용해 Web UI기반으로 Cloud Hadoop 클러스터의 관리 및 모니터링을 편리하고 효율적으로 할 수 있습니다. Cloud Hadoop은 오픈소스 기반으로 구성되어 있어 다양한 오픈 소스들과 연계가 가능하고 무한 확장이 가능하고 내구성이 뛰어난 Object Storage를 데이터 저장소로 사용하여 언제 어디서든 쉽게 데이터를 저장하고 추출하여 사용할 수 있습니다.


아키텍처

연동 부가 서비스

솔루션 적용 및 비즈니스 효과

쉽고 간단하게 클러스터 생성
Cloud Hadoop은 자동으로 Hadoop클러스터 생성을 지원하여 인프라 관리 작업에 대한 부담을 덜어드립니다. 여러 오픈 소스 프레임워크 설치 및 구성, 최적화 과정을 통해 언제든 분석 가능한 시스템을 가질 수 있습니다. Hadoop, HBase, Spark, Hive 등의 오픈 소스 프레임워크 설치 되어 있고, 구성이 최적화된 클러스터가 생성되어 사용자는 바로 분석에 필요한 작업을 수행할 수 있습니다.
유연한 확장성 및 고가용성 확보
Cloud Hadoop 클러스터 생성시 필수로 2대의 마스터 노드를 제공하고 이중화 구성하여 고가용성을 보장합니다. 마스터 노드 장애시 standby 노드의 역할 변경되어 마스터 노드로의 역할 수행이 가능하고, 사용자 원하는 시간에 데이터 분석에 필요한 인스턴스의 수를 최소 1개에서 최대 8개까지 손쉽게 줄이거나 늘릴 수 있습니다.
클러스터 관리 및 모니터링을 위한 Web UI제공
Cloud Hadoop 클러스터에 대한 정보 및 상태를 관리 할 수 있는 UI를 제공합니다. 오픈 소스인 Apache Ambari를 이용해 손쉬운 Web UI 및 REST API 사용을 활용하여 Cloud Hadoop 클러스터의 관리 및 모니터링을 편리하고 효율적으로 할 수 있습니다. 또한 직접 서버에 로그인 하지 않고도 Hadoop, HBase, Spark, Hive 등의 configuration을 자유롭게 할 수 있습니다.
Object Storage 기반의 무제한 데이터 용량 제공
데이터 저장소로 네이버 클라우드 플랫폼의 Object Storage를 사용해 저렴한 비용으로 대량 데이터를 저장합니다. 고객의 비즈니스 규모에 따라 GB 단위에서 시작하여 PB 단위까지 합리적인 비용으로 손쉬운 확장이 가능하므로 용량 걱정 없이 사용할 수 있고 Cloud Hadoop에서 데이터를 분석할 수 있도록 연계할 수 있습니다.
다양한 유형의 컴퓨터 파워 제공
다양한 유형의 컴퓨팅 파워를 가진 서버 타입을 제공하므로, 사용자는 분석에 필요한 성능에 맞춰서 다양한 서버를 선택하여 빠르게 대량의 데이터 분석이 가능합니다.