엑셈 인사이트 | 오픈소스 하둡 관리도 역시, 엑셈 플라밍고

 

빅데이터의 대명사로 자리 잡은 하둡과 배포판에 대하여

빅데이터 분석의 핵심이 되는 오픈소스 소프트웨어 프레임워크인 하둡(Hadoop)은 2011년 등장 이후로 분산형 파일 시스템의 확장성과 낮은 비용이라는 이점 때문에 빠르게 대중화되었다. 이에 따라 빅데이터 영역은 주로 하둡을 중심으로 생태계가 구축되어 왔다. 

 

여기에 많은 벤더사들이 오픈소스 프로젝트 하둡에 새 기능을 추가하거나 코드 기반을 개선하는 방식으로 독자적인 배포판을 개발해 공급해왔는데, 아파치 하둡 배포판, 클라우데라(Cloudeara) CDH(Cloudera Distribution for Hadoop), 호튼웍스(Hortonworks)의 HDP(Hortonworks Data Platform), 맵알(MapR)의 MapR Hadoop Distribution가 가장 대표적인 배포판으로 자리 잡게 되었다.

 

특히, 호튼웍스 HDP(Hortonworks Data Platform)의 경우 100% 순수 오픈소스 하둡 배포판으로, 무료로 이용 가능한 점에 있어 국내 많은 기업과 기관에서 HDP를 기반으로 빅데이터 분석 시스템을 구축하여 사용 중에 있다.

 

 

글로벌 하둡 시장 1, 2위의 합병과 서브스크립션 유료 확장 전면 공지

그리고, 세계 빅데이터 분석 시장에서 메인 플랫폼인 하둡 영역의 1, 2위를 다투던 클라우데라와 호튼웍스는 2018년 10월 합병하게 된다. 클라우데라는 2008년 최초의 하둡 전문 회사로 등장해서, 2009년 하둡 창시자인 더그 커팅이 최고 아키텍트로 합류, 데이터 분석 시장을 선도해왔다.  호튼웍스는 하둡 기술 개발을 주도하고 가장 먼저 도입했던 야후(Yahoo)의 데이터 조직이 분사되어 설립된 기업으로, 하둡 기술 발생 초기부터 형성한 개발력과 운영 역량을 시장에서 강점으로 활용해왔다.

 

호튼웍스를 인수한 클라우데라는 지난해 11월, 2021년 1월 31일부터 소프트웨어 서브스크립션(subscription) 유료화 확장을 전면 공지했다. 그리고 여기에는 기존 호튼웍스 HDP가 포함되었다. 이로써 비용 부담을 줄이기 위해 호튼웍스 HDP를 사용 중이던 많은 국내 기업들에게 큰 혼란을 맞이했으며, 많은 기업들이 대안 찾기에 나서고 있다.

△ 클라우데라 소프트웨어 서브스크립션 유료 확장 업데이트에 대한 공지 (※출처 : 클라우데라 공식 홈페이지)

 

오픈소스로 대안 찾기에 나선 기업들에게도 기대되는 엑셈 Flamingo의 행보

이에 따라 엑셈은 현재 보유하고 있는 빅데이터 통합 관리 솔루션 ‘플라밍고(Flamingo)’를 고객들의 needs에 따른 하둡 배포판 뿐만 아니라 오픈소스 아파치 하둡(Apache Hadoop)에서도 빅데이터 수집부터 저장, 정제, 분석에 있어 보다 쉽고 효율적인 통합 모니터링과 관리를 지원한다는 계획이다.

 

엑셈의 ‘플라밍고’는 현재도 하둡 에코 시스템의 주요 컴포넌트와 서비스를 준실시간으로 모니터링하여 하둡 성능 관리에 최적화된 모니터링 패턴을 제공하고 있다. 여기에 손쉬운 드래그 앤 드롭 작업으로 분석 워크플로우를 작성하고 테스트까지 진행 가능한 기능과 하둡에서 사용되는 파일 분산 시스템인 HDFS(Hadoop Distributed File System)의 수많은 디렉터리와 파일을 동시에 관리 가능한 HDFS 브라우저 기능 등으로 하둡 에코 시스템의 가용성과 성능을 효율적으로 관리하게 도와준다. 이와 같은 이점으로 하둡 에코 시스템을 운영 중인 다양한 기업과 기관에서 ‘플라밍고’를 사용하고 있다.

 

△ 하둡 클러스터의 핵심 지표를 쉽고 직관적으로 파악 가능한 Flamingo의 ‘Dashboard View’

 

엑셈은 여기에 더하여 Apache NiFi 모니터링 등의 기능을 올해 말까지 추가 개발한다는 계획이다.

 

△ Flamingo 의 Apache Nifi 모니터링 화면

 

마치며

그동안 엑셈은 전 세계 유일의 하둡 에코 시스템 성능 관리 솔루션 ‘플라밍고’를 통해서 하둡 에코시스템을 기반으로 빅데이터 플랫폼을 구축한 고객들이 다양한 오픈소스 소프트웨어를 운용하면서 발생하는 이슈를 해결해왔다. 또한 하둡 플랫폼을 운영하는 다양한 고객사들의 요구사항도 반영하였으며, 오픈소스 소프트웨어 전문가들의 관점에서 풀어낸 성능 관리 및 분석 기술력을 탑재했다. 업계에서는 아파치 하둡 향 ‘플라밍고’ 기능 개발은 HDP를 사용 중이던 국내 기업들에게 희소식이 되어줄 것으로 기대를 모으고 있다. 하둡 기반 국내 빅데이터 시장의 주도권을 더욱 확보할 ‘플라밍고’의 행보를 확신해 본다.

 

 

 

 

 

기획 및 글 | 사업기획팀

 

 

 

 

[NOW엑셈 164회] 다른 이야기도 궁금하시다면?
🤗 엑셈 뉴스룸 | 엑셈이 通하는 이유   ❗️ 엑셈 인사이트 | 오픈소스 하둡 관리도 역시, 엑셈 플라밍고  💡 혁신스토리 | 혁신하려면, 실행하라!  📈 월간기술동향 | 가트너 Hype Cycle 2021  ☁️ 클라우드 A to Z | Kubernetes 디자인 패턴  🧬 PHILINNOVATOR | 유전자와 문화의 공진화  🍂 이벤트 | 가을 이벤트 어텀?