AI 도입보다 어려운 데이터 운영
최근 공공기관은 생성형 AI의 도입에서 한 단계 더 나아가, AI가 활용할 데이터를 체계적으로 관리하기 위한 데이터 플랫폼 구축에 속도를 내고 있습니다. 엑셈도 경기도 AI 학습데이터 통합 관리체계 도입 사업에 참여해 공공 AI 서비스의 데이터 관리 기반을 구축하고 있습니다.
공공기관에서는 민원 상담에 AI를 적용하거나 정책 수립에 데이터를 활용하는 사례도 빠르게 늘고 있습니다. 하지만 현장에서 먼저 부딪히는 문제는 모델의 성능이 아닙니다. AI가 활용할 데이터를 어떻게 안정적으로 수집하고, 저장하고, 지속적으로 운영할 것인지 그 체계를 갖추는 일입니다.
AI는 데이터로 학습하고 동작합니다. 데이터가 여러 시스템에 흩어져 있거나 운영 체계가 갖춰져 있지 않다면, 아무리 뛰어난 모델도 기대한 결과를 내기 어렵습니다. 공공기관이 AI 플랫폼보다 빅데이터 운영 플랫폼을 먼저 고민하는 이유입니다.
1. 공공기관은 왜 직접 운영을 선택할까요?
민간 기업에서는 SaaS 형태의 데이터 플랫폼을 선택하는 경우도 많지만, 공공기관은 상황이 다릅니다. 주민 정보, 행정 정보, 공간 정보, 교통 데이터처럼 엄격한 보안과 관리가 필요한 데이터를 다루기 때문입니다. 기관마다 보안 정책과 운영 절차도 제각각이어서, 외부 서비스보다 내부 인프라에서 직접 운영하는 쪽을 택하는 기관이 여전히 많습니다.
운영 기간도 빼놓을 수 없습니다. 공공 시스템은 한 번 구축하면 5년, 길게는 10년 이상 쓰입니다. 시간이 지날수록 새로운 데이터가 쌓이고, 시스템이 커지며 분석 대상도 늘어납니다. 저장만 되는 플랫폼이 아니라, 지속적으로 운영하고 확장하는 플랫폼이 필요한 이유입니다.
빅데이터 플랫폼을 구축했다고 운영까지 끝난 건 아닙니다. 오히려 구축 이후부터 운영팀의 역할이 커집니다. Apache Hadoop Ecosystem은 HDFS, YARN, Hive, Spark, Kafka, Trino 등 다양한 오픈소스 컴포넌트로 이뤄집니다. 각 서비스는 서로 긴밀하게 맞물려 있어, 한 구성 요소에 문제가 생기면 전체 데이터 처리 흐름에 영향을 미칩니다.
운영자는 각 컴포넌트 상태 확인, 노드 자원 점검, 설정 변경, 버전 관리, 장애 대응까지 담당합니다. 위에서 살펴본 것과 같이 오픈소스의 높은 유연성은 분명 장점이지만, 운영 복잡성도 그만큼 따라옵니다. 공공기관이 빅데이터 플랫폼을 도입할 때 가장 오래 붙잡는 문제가 이 운영 영역입니다.
2. 구축보다 어려운 운영
많은 공공기관의 빅데이터 플랫폼은 Apache Hadoop Ecosystem을 기반으로 구축됩니다. HDFS로 데이터를 저장하고, YARN으로 자원을 관리하며, Hive와 Spark, Trino로 데이터를 분석 및 처리하고, Kafka로 실시간 데이터를 수집하는 구조가 대표적입니다. 필요에 따라 nifi나 airflow 등 다양한 오픈소스 컴포넌트도 함께 활용합니다.
이러한 확장성과 유연성은 분명한 강점입니다. 하지만 운영자 입장에서는 또 다른 과제가 생깁니다.
각 컴포넌트가 정상적으로 동작하는지, 클러스터 전체 사용량은 적정한지 살펴봐야 합니다. 또한, 특정 노드에 부하가 집중되지는 않는지, 데이터 처리 과정에서 병목은 없는지, 서비스 설정 변경이 제대로 반영됐는지도 들여다봐야 합니다.
이 작업들은 하나의 화면에서 끝나지 않습니다. 장애가 발생하면 여러 관리 화면을 오가며 로그와 설정을 따로 확인해야 합니다. 플랫폼의 규모가 커질수록 이러한 운영 부담도 커집니다.
따라서 공공기관의 진짜 과제는 빅데이터 플랫폼 구축이 아니라, 복잡한 오픈소스 환경을 얼마나 효율적으로 운영하는지와 밀접한 연관이 있습니다.
3. EBIGs는 빅데이터 운영을 어떻게 바꿀까?
3-1. 운영 효율을 높이는 빅데이터 운영 플랫폼
EBIGs는 이러한 운영 과제에 초점을 맞춘 Apache Hadoop Ecosystem 기반의 빅데이터 운영 플랫폼입니다.
✅ 단순히 데이터를 저장하거나 분석하는 환경을 넘어, 여러 오픈소스 컴포넌트를 하나의 운영 체계 안에서 통합 관리합니다.
예를 들어 운영자는 통합 대시보드에서 Hadoop 클러스터 전체 상태를 한눈에 봅니다. HDFS, YARN, Hive 등 주요 서비스의 동작 상태는 물론, 서버와 노드의 CPU·메모리·디스크 사용량, Resource Manager와 NameNode 상태, application 실행 이력까지 한 화면에서 확인할 수 있습니다. 운영자가 여러 관리 도구를 오가며 정보를 수집할 필요 없이, 전체 운영 현황을 직관적으로 파악할 수 있도록 구성한 것입니다.
✅ 운영 과정도 단순화했습니다.
- Web UI로 서비스 설정을 변경하고 배포할 수 있으며, 변경 이력을 비교해 설정 차이를 쉽게 확인할 수 있습니다. HDFS 디렉터리와 파일 관리, Trino 데이터베이스 관리와 쿼리 실행도 동일한 환경에서 처리해 운영 표준화와 관리 효율을 높입니다.
- 또한, Hadoop Ecosystem의 핵심 지표를 실시간으로 수집하고 모니터링하며, 임계치 기반 알림으로 이상 징후를 빠르게 포착합니다. 장애 이후 대응이 아니라, 운영 중 발생할 수 있는 위험 요소를 지속적으로 관리할 수 있도록 지원하는 것이 EBIGs의 핵심 가치입니다.
3-2. 공공기관이 필요한 건 분석이 아닌 운영 플랫폼
공공기관이 빅데이터 플랫폼을 구축하는 목적은 단순히 데이터를 저장하거나 분석하기 위해서가 아닙니다. 여러 부서와 시스템에 흩어진 데이터를 하나의 기반에서 관리하고, 안정적으로 운영하기 위해서입니다.
대표적인 사례가 지역 통합 데이터 허브입니다. 교통, 환경, 재난, 민원, 공간정보(GIS) 등 다양한 데이터를 하나의 플랫폼으로 통합해 정책 수립과 행정 서비스에 활용하려면, 데이터를 지속적으로 수집하고 저장하는 것은 물론 플랫폼 자체를 안정적으로 운영해야 합니다.
또 다른 예로는 재해복구(DRS) 환경이 있습니다. 공공 서비스는 장애가 발생해도 데이터를 안전하게 보호하고 서비스를 신속하게 복구해야 합니다. 따라서 데이터 분석 기능 못지않게, 플랫폼을 안정적으로 운영하는 역량이 중요한 이유입니다.
4. 빅데이터 운영으로 완성하는 AI 생태계
AI 프로젝트는 모델을 개발하는 순간부터 시작되지 않습니다. 데이터를 안정적으로 수집하고, 저장하고, 운영하는 과정이 먼저 갖춰져야 합니다.
엑셈은 이러한 흐름을 바탕으로 빅데이터 운영 플랫폼 EBIGs를 제시하고 있습니다. 공공기관이 빅데이터 운영 플랫폼을 직접 구축하는 이유도 여기에 있습니다. AI를 당장 도입하려는 것이 아니라, 앞으로 확대될 AI 서비스와 데이터 기반 행정을 지속적으로 운영할 기반을 먼저 갖추려는 것입니다.
기술은 계속 발전하고 새로운 AI 모델도 끊임없이 등장하고 있습니다. 하지만 그 변화를 안정적으로 수용하는 기반은 결국 데이터를 얼마나 체계적으로 운영할 수 있는가에 달려 있습니다. 공공기관의 AI 경쟁력 역시 빅데이터 운영 플랫폼에서부터 시작됩니다.
EBIGs가 Hadoop Ecosystem 운영을 어떻게 통합하고,
공공기관의 빅데이터 운영 효율을 높이는지 자세히 확인해 보세요
함께 보면 좋은 아티클
