서비스 특징
네이버의 기술력을 바탕으로 만들어진 빅데이터 통합 분석 플랫폼
통합 분석 환경 제공
대용량 데이터 저장/처리 및 분석이 가능한 통합 분석 환경을 제공합니다.
쉽고 빠른 분석 환경 구성
다양한 빅데이터 프레임워크들을 앱으로 생성하여 사용자 맞춤형 분석 환경을 손쉽게 구성할 수 있습니다.
사용량 기반의 Batch 지원
별도 인프라 구성없이 서버리스 환경에서 사용량 기반으로 Batch 작업을 수행할 수 있습니다.
뛰어난 안정성
높은 가용성과 보안 기술이 적용되어 안정적인 Hadoop 클러스터 환경을 제공합니다. 관리 및 모니터링에 소요되는 시간을 줄일 수 있으며 안전하게 사용할 수 있습니다.
합리적인 비용
사용된 리소스만큼만 비용을 부담할 수 있어 데이터 분석에 필요한 비용을 합리적으로 운용할수 있습니다.
탄력적인 리소스 운영
상황에 따라 리소스를 확장하거나 축소할 수 있어 다양한 비즈니스 요구사항에 유연하게 대처할 수 있습니다.
상세 기능
멀티 테넌트 기반의 통합 플랫폼
대규모 데이터와 많은 사용자를 처리할 수 있도록 설계된 멀티 테넌트 기반의 통합 플랫폼을 제공합니다. 데이터 분석 목적에 따라 Batch 분석 작업이나 Long-Live 분석 작업을 멀티 테넌트 환경에서 수행할 수 있습니다.
모니터링 환경 제공
애플리케이션 리소스 사용량, HDFS(Hadoop Distribute File System) 사용량 등의 지표를 편리하게 모니터링할 수 있습니다. 알람이나 로깅 기능을 활용하여 필요한 조치를 신속하게 취할 수 있습니다.
강력한 보안
Data Forest는 보안이 강화된 Secure Hadoop Cluster로 Kerberos와 LDAP 인증을 이용한 접근 제어, Apache Ranger를 이용한 Application 권한 관리, Apache KNOX 기반의 웹 접속 인증을 제공하여 안전한 분석 환경을 지원합니다.
고가용성 보장
Data Forest는 Apache Hadoop 오픈 소스를 기반으로 다중 마스터 노드 구성을 통해 고가용성과 신뢰성이 모두 보장되는 안정된 클러스터 환경을 이용할 수 있습니다.
효율적인 데이터 작업 지원
Apache Hadoop HDFS(Hadoop Distribute File System)에 데이터를 저장하고 Apache Hadoop YARN에 작업을 요청하여 컨테이너를 할당받아 작업을 실행합니다. 제공되는 프레임워크에서 데이터를 이동할 필요 없이 효율적으로 사용할 수 있습니다.
다양한 빅데이터 에코 시스템 제공
Apache Spark, Hive, Presto, Hbase, Airflow, Zeppelin, Jupyter 등 여러 오픈 소스 컴포넌트를 제공합니다.
※ 제공 프레임워크는 내부 사정에 의해 변경될 수 있습니다.
사용 사례
Extract Transform Load(ETL)
대규모 데이터 세트를 추출, 변환, 로드 처리할 수 있습니다.
대화식 분석
Presto, Spark와 같은 컴포넌트를 사용하여 대화식 탐색 및 분석을 수행할 수 있습니다.
실시간 스트리밍
Apache Kafka와 같은 스트리밍 데이터 원본 이벤트를 Apache Spark Streaming과 같은 오픈 소스를 사용하여 스트리밍 데이터 파이프라인으로 구성할 수 있습니다.
요금
실용적인 서비스 구성과 시간 단위 종량제 요금 제공
Data Forest 가격
Data Forest는 사용자가 리소스를 사용한 만큼 지불하는 비용 효율적인 서비스입니다. 인프라 요금과 소프트웨어 요금이 합산되어 1분을 최소 요금으로 분당 청구됩니다. Common, Public Queue, Private Queue 로 구분됩니다.
Common : 리소스 설정 없이 HDFS로 저장한 데이터 사이즈 및 Job 수행 시 사용한 인프라 및 소프트웨어 요금
HDFS : 리소스 설정 없이 HDFS(Hadoop Distributed File System)로 저장한 데이터 사이즈로 청구
Public Queue - Job : Public Queue를 사용하여 Job 수행 시 사용한 인프라 및 소프트웨어 요금
Private Queue - Job : Private Queue를 사용하여 Job 수행 시 사용한 소프트웨어 요금
Public Queue : Serverless 형태로 App 생성시 Public Queue에서 리소스를 할당 받아 사용
App : 사용자가 Application 리소스를 설정하고 필요에 따라 직접 리소스를 확장/축소 설정한 만큼 사용량 기반으로 청구되는 인프라 및 소프트웨어 요금
Private Queue : 사용자 전용 컴퓨팅 자원(Private Queue)을 생성하고 App 생성시 Private Queue에서 리소스를 할당 받아 사용
Node : Private Queue 생성 및 운영 위한 서버 이용 요금
App : Private Queue를 사용하여 Application 리소스를 설정한 만큼 사용량 기반으로 청구되는 소프트웨어 요금
Common 이용 요금
HDFS : HDFS에 데이터가 저장된 시점부터 저장된 사이즈(GB) 만큼의 분당 이용 요금으로 청구됩니다.
Job : Hive, Spark, MapReduce 등의 작업을 Hadoop YARN에 실행 요청하는 경우로 vCPU, Memory, GPU로 구분되어 실행된 기간 동안의 요금을 합산하여 청구합니다.
구분 | 상세 | 과금 항목 | 과금 기준 | 요금(인프라 + 소프트웨어) |
|---|---|---|---|---|
Common | HDFS | GB | 분 | - |
Common | Public Queue - Job | vCPU | 분 | - |
Common | Public Queue - Job | GPU | 분 | - |
Common | Public Queue - Job | Memory(GB) | 분 | - |
Common | (예정) Private Queue - Job | vCPU | 분 | - |
Common | (예정) Private Queue - Job | GPU | 분 | - |
Common | (예정) Private Queue - Job | Memory(GB) | 분 | - |
(VAT 별도)
Public Queue 이용 요금
App : Hbase, Kafka, OpenTSDB, Presto, ElasticSearch, Kibana, Zeppelin, Grafana, Hue 등의 Application을 Hadoop YARN 컨테이너에서 생성된 시간 동안 vCPU, Memory, GPU으로 요금을 구분하여 Application 명 별로 청구합니다.
※ App 생성 시 Application Master가 생성되어 1vCPU, 4GB Memory 요금을 청구합니다. (2021.12.01 부터)
※ AI App 생성 시 Application Master가 생성되어 1vCPU, 1GB Memory 요금을 청구합니다. (2021.12.01 부터)
구분 | 상세 | 과금 항목 | 과금 기준 | 요금(인프라 + 소프트웨어) |
|---|---|---|---|---|
Public Queue | App | vCPU | 분 | - |
Public Queue | App | GPU | 분 | - |
Public Queue | App | Memory (GB) | 분 | - |
(VAT 별도)
(예정) Private Queue 이용 요금
Node : 사용자 전용 컴퓨팅 자원을 이용할 경우의 생성된 서버 이용 요금을 청구합니다.
구분 | 상세 | 과금 항목 | 과금 기준 | 인프라 이용 요금 |
|---|---|---|---|---|
Private Queue | Node | vCPU 32EA, Memory 128GB,SSD 100GB | 시간 | - |
Private Queue | Node | vCPU 32EA, Memory 256GB,SSD 100GB | 시간 | - |
Private Queue | Node | V100 1EA, GPU Memory 32GB,vCPU 8EA, Memory 90GB,SSD 100GB | 시간 | - |
Private Queue | Node | V100 2EA, GPU Memory 64GB,vCPU 16EA, Memory 180GB,SSD 100GB | 시간 | - |
Private Queue | Node | V100 4EA, GPU Memory 128GB,vCPU 32EA, Memory 360GB,SSD 100GB | 시간 | - |
(VAT 별도)
App : Hbase, Kafka, OpenTSDB, Presto, ElasticSearch, Kibana, Zeppelin, Grafana, Hue 등의 Application을 Hadoop YARN 컨테이너에서 생성된 시간 동안 vCPU, Memory, GPU으로 요금을 구분하여 Application 명 별로 청구합니다. (인프라 이용 요금은 Node 요금에 포함되어 있습니다.)
※ App 생성 시 Application Master가 생성되어 1vCPU, 4GB Memory 요금을 청구합니다. (2021.12.01 부터)
※ AI App 생성 시 Application Master가 생성되어 1vCPU, 1GB Memory 요금을 청구합니다. (2021.12.01 부터)
구분 | 상세 | 과금 항목 | 과금 기준 | 소프트웨어 이용 요금 |
|---|---|---|---|---|
Private Queue | App | vCPU | 분 | - |
Private Queue | App | GPU | 분 | - |
Private Queue | App | Memory (GB) | 분 | - |
(VAT 별도)
네트워크 전송 요금 (Private Queue - Node)
아웃바운드 트래픽에 대한 네트워크 사용량은 요금표에 따라 과금합니다.
네트워크 사용량에 따른 요금표는 요금 > 리전별 요금제 > Network에서 확인할 수 있습니다.
Data Forest
리소스
사용 가이드
FAQ
Loading...
