Apache Hadoop Ecosystem 하둡 구축 및 운영을 위한 빅데이터 패키지 솔루션 EBIGs 이빅스

EBIGs

빅데이터 시스템 구축 및 운영
위한 최적의 솔루션

EBIGs는 빅데이터 시스템에 대한 구성 및 보안, 운영 등의 이슈를 해결하고자 개발된 솔루션으로, Apache Hadoop Ecosystem의
모니터링 및 운영 업무에 일관되고 안전한 플랫폼을 제공하여 시스템 관리의 부담을 최소화합니다.

EBIGs
EBIGs 소개 자료
  • 호환성 검증을 통한 시스템 구성

  • 국내 기술의 운영 관리 솔루션

  • 확실한 비용 절감 효과

  • 안정적인 기술 지원 제공

특장점

EBIGs는 자체 호환성 검증을 통해 구성된 오픈 소스 기반의 Apache Hadoop Ecosystem과 이를 모니터링하고 운영하기 위한 빅데이터 관리 플랫폼으로 구성됩니다.

  • 빅데이터 시스템 구성 관리
    Hadoop 클러스터 호스트
    및 서비스 관리
  • 빅데이터 시스템 설정 관리
    서비스별 설정 및 이력 관리
  • 데이터 수집 및 오류 탐지
    워크플로우 오류 탐지
    및 이력 확인
  • Hadoop 보안 설정
    권한 설정을 통한
    보안 정책 운영
  • 실시간 모니터링
    Hadoop 서비스 및
    리소스 실시간 모니터링 제공
  • HDFS 브라우징
    빅데이터 디렉토리 및
    파일 생성 / 수정 / 삭제
  • Hive 워크스페이스
    Hive 데이터베이스 관리
    및 쿼리 에디터 제공
  • 상태 알림
    서비스 및 임계치 상태 알림

모니터링 뷰

Dashboard

Dashboard

Hadoop Cluster의 통합 감시를 위한 전용 화면입니다.
EBIGs는 Apache Hadoop Ecosystem을 시각화하여 서버, 서비스, 노드 상태에 대한 모니터링이 가능하며, Hadoop Cluster의 핵심 지표를 직관적으로 파악할 수 있습니다. 또한, Hadoop Cluster Node를 3D로 시각화한 Dashboard를 제공합니다.

· Resource Manager / NameNode / HDFS / Hive / YARN /
   Node Manager 등

HDFS Monitoring

HDFS Monitoring

HDFS 핵심 지표 모니터링을 위한 전용 화면입니다.
EBIGs는 Hadoop Cluster의 성능 및 상태를 시각화하여, 분산 파일 시스템을 관리하는 Namenode의 가장 중요한 성능 지표인 JVM Heap, GC, Active Namenode, HDFS Capacity, Block Status를 쉽게 파악할 수 있습니다. 또한 HDFS Browser Audit를 통하여 작업한 이력을 추적하고 다운로드가 가능합니다.

Yarn Monitoring

Yarn Monitoring

Yarn에 대한 Summary, Log 등의 핵심 정보를 파악하기 위한 전용 화면입
니다. EBIGs는 Hadoop Cluster의 성능 및 상태를 시각화하고, Yarn Cluster의 사용량 확인 및 실행 이력 표시가 가능해 애플리케이션을 손쉽게 모니터링할 수 있습니다.

Resource

Resource Monitoring

EBIGs는 Hadoop Cluster를 구성하는 노드의 각종 자원 사용량을 실시간
으로 모니터링함으로써 자원의 가용성을 극대화할 수 있도록 지원합니다. Hadoop Cluster의 모든 지표들은 실시간으로 수집되어 현재 자원의 상황을 손쉽게 확인할 수 있습니다.

Service

Service List

EBIGs는 Apache Hadoop Ecosystem의 관리 기능을 제공합니다.
Web UI를 통해 각 서비스의 설정 값을 수정 및 배포하고 실행 이력을 제공
하여 최적의 시스템을 구성할 수 있도록 지원합니다. 따라서 수많은 서비스
가 설치되는 Hadoop Ecosystem을 손쉽게 운용할 수 있습니다.

분석 뷰

Hive Editor

Hive Editor

데이터 관리를 위한 Hive Metastore를 제공합니다.
Zeppelin을 활용하여 Hadoop의 데이터를 RDBMS처럼 쉽게 활용할 수 있습니다. 테이블과 데이터베이스의 관리 및 분석이 가능하며, 조회 데이터의 시각화를 통해 편리하게 분석할 수 있습니다.

In-memory Analysis

In-memory Analysis

분석 작업 속도 개선을 위하여 Spark-notebook을 제공합니다.
Spark-notebook을 활용하여 다양한 경로를 통해 데이터를 입력받을 수 있으며, 클러스터 환경에서 분산 처리하여 보다 빠르고 정확한 분석이 가능합니다. 또한 Python과 연계하여 머신 러닝, 그래프 알고리즘 기능을 지원합니다.

아키텍처

도입 사례

  • 공공

    빅데이터 통합 플랫폼

    도입 배경

    경제 활성화와 효율적 데이터 관리 및 활용을 위한 빅데이터 통합 플랫폼 구축

    도입 효과

    • Apache Hadoop 기반 빅데이터 플랫폼 인프라 구축

    • 지역 관련 데이터 현황을 통합 제공하는 데이터 허브 구축에 성공

    • EBIGs를 통해 저장된 빅데이터를 활용하여 웹, 시각화 등의 서비스 제공

  • 전기

    전력 재해 복구 시스템

    도입 배경

    핵심 업무 시스템에 대한 업무 연속성 확보와 상호 백업 체계 구성을 위한 미래지향적 재해복구시스템(DRS) 구축

    도입 효과

    • EBIGs를 활용한 재해 복구 시스템 구축

    • 데이터 무결성 및 정합성을 보장하는 실시간 데이터 복제 환경 구성

  • 정보통신

    마스터 플랫폼 구축

    도입 배경

    각 계열사의 효율적인 데이터 관리 및 분석을 위한 시스템 구축

    도입 효과

    • Apache Hadoop 기반 빅데이터 플랫폼 인프라 구축

    • 데이터 표준화를 통한 데이터 거버넌스 구축

엑셈 솔루션으로 더 안정적인 IT 시스템을 운영하세요