클라우데라의 아파치 하둡(Apache Hadoop) 기반 모든 제품의 유료화 선언 이후, 빅데이터를 활용하는 기업과 기관들이 높은 금액의 라이선스 비용으로 인해 또 다른 대안을 마련하고 있다. (*인사이트 지난 편 : 오픈소스 하둡 관리도 역시, 엑셈 플라밍고) 실제로 엑셈은 경상북도청과 한국전력공사 ICT 대전센터 전력분야 재해복구시스템(DRS)에 아파치 하둡을 공급하고 이를 지원하는 빅데이터 통합 관리 솔루션 ‘플라밍고(Flamingo)’를 구축 중이다.
엑셈의 ‘플라밍고’는 빅데이터 수집부터 저장, 분석 및 하둡 에코 시스템 운영에 필요한 서버 상태 관리, 서비스 관리, 설정 관리 등을 손쉽게 활용할 수 있는 통합 관리 솔루션이다. 서비스 모니터링, 보유 데이터 브라우징, 데이터 정제/처리를 위한 워크플로우로 안정적인 운영과 활용이 가능하도록 다양한 기능을 제공하고 있다. 그리고, 가장 큰 장점은 아파치 하둡 시스템에서도 활용이 가능하다는 점이다.
아파치 하둡 시스템으로 전환을 앞둔 기업과 기관들의 고민을 해결하다
엑셈은 이미 사업 수행과 사전 사업 논의들을 통해서 아파치 하둡으로의 전환이 가속화되고 있는 것을 체감하고 있다. 그리고 아파치 하둡 시스템으로 전환을 앞둔 기업과 기관들이 설치와 운영에 있어 어떤 고민을 하게 될지까지 예상, 빅데이터 통합 관리 솔루션 ‘플라밍고’에 이를 지원하는 기능을 적극 반영했다.
플라밍고는 특히, 서버 및 서비스 관리에 주목했다. 하둡 에코 시스템을 설치하고 운영하기 위해서는 적게는 5대에서 많게는 수백 대 서버들이 필요하다. 또한, 서버마다 여러 개의 소프트웨어가 설치되고, 기업 운영 담당자들은 수많은 서버에 접속하여 서버 및 서비스 상태를 확인할 수 있는 명령어를 실행해야 할 것이다. 엑셈의 ‘플라밍고’를 사용하면 하둡 에코 시스템에 설치된 수많은 소프트웨어와 서버들의 상태 정보를 쉽게 확인할 수 있다. 여기에 ‘플라밍고’는 각종 모니터링 뷰와 3D 대시보드를 통해 서버 리소스 현황과 소프트웨어의 상태 정보 등을 직관적인 UI/UX로 제공한다. 이는 빅데이터 운영 담당자가 일일이 수많은 서버에 접속해 서버 및 서비스의 상태 확인 명령어를 실행할 필요 없이도 신속한 장애 대응을 가능하도록 한다.
또한, 하둡 에코 시스템을 손쉽게 운영하기 위해 반드시 서비스 실행/종료 제어, 각 서브시스템의 설정 정보 변경 관리 등의 기능이 필요하다. 플라밍고는 이를 WEB UI 환경에서 관리할 수 있도록 하는 환경을 제공하고 있다. 서비스 실행/종료 시 서브시스템 간의 연관 관계에 따라 자동 순차 서비스 실행/종료가 되며 전체 서비스에 대한 일괄 실행/종료 기능도 제공한다. 운영 시 에코 시스템 설정에 대한 히스토리 관리를 통해 보다 안정적인 시스템 운영 및 처리가 가능하다.
빅데이터 활용 관점에서도 역시 ‘플라밍고’
‘플라밍고’에는 크게 세 가지 기능이 있다. 첫 번째는 시스템을 운영하는 관점에서 필수적인 모니터링 기능이고, 두 번째는 빅데이터를 활용하는 관점에서 사용되는 데이터 분석과 관리 기능, 세 번째는 서버 및 서비스 관리 기능이다. ‘플라밍고’는 대용량 데이터 관리와 활용 및 운영 세 가지 관점 모두에 있어서, 누구나 손쉽게 접근하고 활용할 수 있도록 지원하고 있으며, 이는 대용량 데이터를 다루는 고객들이 ‘플라밍고’를 선택한 이유이기도 하다. HDFS 브라우저는 HDFS 상의 디렉터리 및 파일을 관리하는 Flamingo의 핵심 기능이다. GUI 환경 상에서 손쉽게 파일을 업로드하고 다운로드할 수 있으며, 하나의 디렉터리에 수십만 개의 파일이 있더라도 UI 문제없이 거뜬히 표시한다. Hive SQL Editor 기능을 제공하여 대용량 데이터의 손쉬운 검색 및 분석 기능 또한 제공하고 있으며, 파일시스템 감사(Audit) 기능을 통해 HDFS Browser를 이용한 작업 내용을 확인하고, 원하는 기간의 HDFS 데이터 사용량 추이까지 확인 가능하다.
‘플라밍고’ 사용자는 워크플로우 디자이너를 통해 GUI 기반으로 손쉬운 드래그 앤 드롭 작업으로 작성하기 어려운 분석 워크플로우를 간단히 작성하고 테스트까지 진행할 수도 있다. 워크플로우 디자이너는 다양한 모듈(hive, Java, Shell, Python, Spark)을 활용, 빠르게 Job Flow를 설계 구성하여 예약 혹은 즉시 실행 가능하며, Job 성공 여부에 대한 정보도 제공한다.
‘플라밍고’는 서비스의 설정값 확인 및 수정도 가능하다. 또한 수정된 설정값에 대한 자동 히스토리 관리 기능이 적용되어 잘못된 설정 변경으로 인한 서비스 이상을 빠르게 원복할 수 있다.
‘플라밍고’는 서비스의 현재 상태 정보 확인 및 실행/종료가 가능하다. 각 에코 시스템의 서비스 상태를 확인 가능하며 서비스 별 실행/종료 기능을 제공한다. 서비스 실행/종료 시 자동으로 서비스 간 연관 관계를 기반으로 실행이 되어, 안정적인 서비스 운영을 지원한다.
아파치 하둡과 ‘플라밍고’, 경상북도청과 한전 DRS 시스템에 도입되다
경상북도청은 최근의 경제 활성화 정책이 복합적 · 대형화 추세이고, 업무별, 시군별 데이터가 분산되어 있어 통합적이고 효율적인 데이터 활용이 더욱 필요해졌다. 이에 따라 아파치 하둡 시스템을 구축하고, ‘플라밍고’를 통해 통합 데이터를 수집, 정제, 저장, 분석, 활용 가능한 체계를 구축했다.
한국전력공사는 ‘전력 ICT 대전센터 전력분야 재해복구시스템(DRS) 구축 사업’을 통해 MDMS*, 송변전 시스템 등 재해복구 그룹들을 각각 실시간 복제 구성해 전력분야 재해복구시스템을 구축하고 있다. 해당 사업에서 전력 ICT 나주센터 내에 기설치된 ‘클라우데라 하둡 배포판(CDH)’과 호환되는 아파치 하둡 에코 시스템이 설치된다.
2022년 아파치 하둡 전환 시장의 주도권을 확보할 플라밍고
엑셈은 경상북도청과 한전 사업 수행을 계기로 사업 기회를 더욱 확보해 나갈 기반을 다지게 됐다. 엑셈은 아파치 하둡과 관련된 고객 니즈에 맞춰 ‘플라밍고’의 기능을 지속 개선하여, 아파치 하둡으로 전환되는 빅데이터 시장에서 주도권을 선점한다는 계획이다.
엑셈은 기관 및 지자체를 대상으로 한 사전 영업과 사업 논의를 진행하며 사업 확장에 박차를 가하고 있으며, 플라밍고는 올해 아파치 하둡 시스템으로 전환할 고객들의 빅데이터 운영 관리에 실질적 도움을 주는 가장 든든한 솔루션으로 자리매김해 나갈 것이다.
* MDMS(Meter Data Management System)
: 계량 데이터 관리 시스템, AMI(Advanced Metering Infrastructure, 원격 검침 인프라)의 계량 데이터를 종합적으로 수집, 검증, 통계 처리한 뒤, 타 시스템으로 정보를 제공함으로써 요금 정보 등의 대국민 서비스를 제공하는 AMI 빅데이터 플랫폼
기획 및 글 | IR/PR팀
| [NOW엑셈 169회] 다른 이야기도 궁금하시다면? | |
| 📚 엑셈 뉴스룸 | 엑셈, 'SQL Server 튜닝 가이드' 출간 ❗️ 엑셈 인사이트 | 플라밍고가 하둡 에코 시스템을 대하는 자세 👨🏫 엑기스 | 지식 전도사 엑셈, 고객 맞춤형 KNIME 교육 진행 🪐 PHILINNOVATOR | 디지털 행성의 시대 🌺 이벤트 | 3.1절 끝말잇기 이벤트 |
|
'엑셈 경쟁력 > 제품 스포트라이트' 카테고리의 다른 글
| 엑셈 인사이트 | E2E 거래 추적 모니터링의 필요성 (0) | 2022.04.27 |
|---|---|
| 엑셈 인사이트 | 맥스게이지, 확장과 도전 그리고 확신 (0) | 2022.03.30 |
| 엑셈 인사이트 | 공공시장에서도 XAIOps가 기대되는 이유 (0) | 2022.01.26 |
| 엑셈 인사이트 | 클라우드모아(CloudMOA)의 여정 (2) | 2021.12.22 |
| 엑셈 인사이트 | 전구간 모니터링과 크로스셀링의 근간, 인터맥스 (0) | 2021.11.24 |
댓글