EBIGs
빅데이터 시스템 구축 및 운영을
위한 최적의 솔루션
EBIGs는 빅데이터 시스템에 대한 구성 및 보안, 운영 등의 이슈를 해결하고자 개발된 솔루션으로, Apache Hadoop Ecosystem의
모니터링 및 운영 업무에 일관되고 안전한 플랫폼을 제공하여 시스템 관리의 부담을 최소화합니다.
-
호환성 검증을 통한 시스템 구성
-
국내 기술의 운영 관리 솔루션
-
확실한 비용 절감 효과
-
안정적인 기술 지원 제공
특장점
EBIGs는 자체 호환성 검증을 통해 구성된 오픈 소스 기반의 Apache Hadoop Ecosystem과 이를 모니터링하고 운영하기 위한 빅데이터 관리 플랫폼으로 구성됩니다.
- 빅데이터 시스템 구성 관리
- Hadoop 클러스터 호스트
및 서비스 관리
- 빅데이터 시스템 설정 관리
- 서비스별 설정 및 이력 관리
- 데이터 수집 및 오류 탐지
- 워크플로우 오류 탐지
및 이력 확인
- Hadoop 보안 설정
- 권한 설정을 통한
보안 정책 운영
- 실시간 모니터링
- Hadoop 서비스 및
리소스 실시간 모니터링 제공
- HDFS 브라우징
- 빅데이터 디렉토리 및
파일 생성 / 수정 / 삭제
- Hive 워크스페이스
- Hive 데이터베이스 관리
및 쿼리 에디터 제공
- 상태 알림
- 서비스 및 임계치 상태 알림
모니터링 뷰
Dashboard
Hadoop Cluster의 통합 감시를 위한 전용 화면입니다.
EBIGs는 Apache Hadoop Ecosystem을 시각화하여 서버, 서비스, 노드 상태에 대한 모니터링이 가능하며, Hadoop Cluster의 핵심 지표를 직관적으로 파악할 수 있습니다. 또한, Hadoop Cluster Node를 3D로 시각화한 Dashboard를 제공합니다.
· Resource Manager / NameNode / HDFS / Hive / YARN /
Node Manager 등
HDFS Monitoring
HDFS 핵심 지표 모니터링을 위한 전용 화면입니다.
EBIGs는 Hadoop Cluster의 성능 및 상태를 시각화하여, 분산 파일 시스템을 관리하는 Namenode의 가장 중요한 성능 지표인 JVM Heap, GC, Active Namenode, HDFS Capacity, Block Status를 쉽게 파악할 수 있습니다. 또한 HDFS Browser Audit를 통하여 작업한 이력을 추적하고 다운로드가 가능합니다.
Yarn Monitoring
Yarn에 대한 Summary, Log 등의 핵심 정보를 파악하기 위한 전용 화면입
니다. EBIGs는 Hadoop Cluster의 성능 및 상태를 시각화하고, Yarn Cluster의 사용량 확인 및 실행 이력 표시가 가능해 애플리케이션을 손쉽게 모니터링할 수 있습니다.
Resource Monitoring
EBIGs는 Hadoop Cluster를 구성하는 노드의 각종 자원 사용량을 실시간
으로 모니터링함으로써 자원의 가용성을 극대화할 수 있도록 지원합니다. Hadoop Cluster의 모든 지표들은 실시간으로 수집되어 현재 자원의 상황을 손쉽게 확인할 수 있습니다.
Service List
EBIGs는 Apache Hadoop Ecosystem의 관리 기능을 제공합니다.
Web UI를 통해 각 서비스의 설정 값을 수정 및 배포하고 실행 이력을 제공
하여 최적의 시스템을 구성할 수 있도록 지원합니다. 따라서 수많은 서비스
가 설치되는 Hadoop Ecosystem을 손쉽게 운용할 수 있습니다.
분석 뷰
Hive Editor
데이터 관리를 위한 Hive Metastore를 제공합니다.
Zeppelin을 활용하여 Hadoop의 데이터를 RDBMS처럼 쉽게 활용할 수 있습니다. 테이블과 데이터베이스의 관리 및 분석이 가능하며, 조회 데이터의 시각화를 통해 편리하게 분석할 수 있습니다.
In-memory Analysis
분석 작업 속도 개선을 위하여 Spark-notebook을 제공합니다.
Spark-notebook을 활용하여 다양한 경로를 통해 데이터를 입력받을 수 있으며, 클러스터 환경에서 분산 처리하여 보다 빠르고 정확한 분석이 가능합니다. 또한 Python과 연계하여 머신 러닝, 그래프 알고리즘 기능을 지원합니다.
아키텍처
도입 사례
-
공공
빅데이터 통합 플랫폼
도입 배경
경제 활성화와 효율적 데이터 관리 및 활용을 위한 빅데이터 통합 플랫폼 구축
도입 효과
• Apache Hadoop 기반 빅데이터 플랫폼 인프라 구축
• 지역 관련 데이터 현황을 통합 제공하는 데이터 허브 구축에 성공
• EBIGs를 통해 저장된 빅데이터를 활용하여 웹, 시각화 등의 서비스 제공
-
전기
전력 재해 복구 시스템
도입 배경
핵심 업무 시스템에 대한 업무 연속성 확보와 상호 백업 체계 구성을 위한 미래지향적 재해복구시스템(DRS) 구축
도입 효과
• EBIGs를 활용한 재해 복구 시스템 구축
• 데이터 무결성 및 정합성을 보장하는 실시간 데이터 복제 환경 구성
-
정보통신
마스터 플랫폼 구축
도입 배경
각 계열사의 효율적인 데이터 관리 및 분석을 위한 시스템 구축
도입 효과
• Apache Hadoop 기반 빅데이터 플랫폼 인프라 구축
• 데이터 표준화를 통한 데이터 거버넌스 구축