엑셈 인사이트 | EBIGS, 빅데이터 시스템을 위한 엑셈의 제안

 

빅데이터 시스템 구축

기업 환경에서 데이터의 중요성을 논하는 것은 더 이상 논란 거리가 아니다. 최근에는 데이터를 더욱 빠르고 효율적으로 수집 및 저장, 분석, 시각화하여 데이터 기반의 의사결정이 이루어지도록 하는 방법에 대한 논의가 주를 이루고 있다. 분석 또는 저장해야 하는 데이터의 양이 Giga 단위를 넘어 Tera, Peta 단위에 이른다면 기존의 DBMS와 같은 시스템으로 데이터를 저장, 분석하는 것에 어려움을 느낄 것이다. 이런 이유로 각 기업에서는 빅데이터 시스템을 구축하여 데이터 중심의 경영을 하고 있거나 또는 하고자 한다. 하지만 빅데이터 시스템을 구축 ∙ 운영하기 위한 전문가를 보유하고 있는 기업은 그리 많지 않을 것이다. 전문인력이 없으니 기업 상황에 맞는 적절한 빅데이터 시스템을 구성하는데 어려움이 많다. 이 글은 이런 어려움을 겪고 있는 기업들이 빅데이터 시스템을 새로 구축 또는 확장하고자 할 때, 어떠한 항목들을 중점적으로 솔루션이 검토되어져야 하는 지와 자사에서 개발된 ‘EBIGS’ 제품이 이런 고려 사항들을 얼마나 충족하고 있는지 이야기하고자 한다.

 

빅데이터 시스템 고려 사항

빅데이터 시스템을 구축 시, 기존 DBMS로 처리 불가한 Tera 단위 이상의 데이터를 Public Cloud가 아닌 자사의 시스템을 이용하여 구축하고자 하는 경우에 어떤 것들을 고민해야 하는지 살펴보자. 기업의 규모나 상황에 따라 다양한 요구사항들이 나올 수 있으나 보통은 다음과 같은 항목들이 솔루션 구매 시 고려되어야 한다.

 

1. 수집되는 데이터 유형은? 데이터 수집 주기는?
2. 수집 저장되는 데이터 셋이 구축 이후 수정/변경이 발생할지?
3. 사용자 별 권한 관리가 가능한지?
4. 시스템은 언제든 확장이 가능한지?
5. 시스템 운영을 위한 모니터링 기능이 가능한지?
6. 웹을 이용한 데이터 분석이나 관리가 가능한지?
7. 시스템에 대한 신속한 기술지원이 가능한지?
8. 비용은 적정한지?

이외에도 많은 부분이 고려되어야 하지만 가장 일반적으로 위 항목들을 고려하여, 빅데이터 구축을 위한 솔루션을 구매하여야 할 것이다.

 

EBIGS 지원 사항

위에서 언급한 고려사항들을 하나씩 살펴보자.

데이터를 검토 시, 수집하고자 하는 데이터가 정형, 반정형, 비정형인지 아니면 혼합 형태인지를 조사해야 한다. 수집되는 데이터 형태에 따라 필요한 시스템 구성요소가 달라지기 때문이다. 데이터 형태에 대한 조사가 끝났다면 데이터를 어느 정도의 시간 간격을 두고 수집할 것인지를 정해야 한다. 수집되는 데이터의 사용 시기에 따라 정해져야 하는게 일반적이지만, 수집 데이터의 양, 운영되는 시스템의 부하, 데이터 저장 공간 등을 고려하다 보면 원하는 수집 주기보다 길어질 수 있다. 많은 기업들이 실시간 데이터 분석을 통해 신속한 의사결정의 필요성을 느끼지만, 아쉽게도 기 구축한 대부분의 빅데이터 시스템들은 실시간 분석을 지원하는데 어려움이 있다. EBIGS의 경우 실시간 데이터 수집과 분석을 위해 Kafka, Spark2를 기본 구성으로 하고 있으며 HBase 등을 함께 제공하여 데이터 저장을 돕도록 하였다.

 

< EBIGS 시스템 구성도 >

초기 시스템 구축 이후 언제든 시스템이 변경될 수 있다. 수집되는 데이터의 형태나 양이 변할 때와 같은 경우다. 이런 경우, 언제든 기존 시스템 구성의 변경을 지원하기 위한 인력이 존재해야 하나, 기업 내부에서 이를 지원하기는 쉽지 않다. 엑셈의 경우 이런 경우를 대비하기 위해 항시 기술지원을 하고 있다.

 

시스템은 기본적으로 다양한 분야의 사용자가 이용하게 된다. 데이터 엔지니어, 데이터 분석가, 시스템 운영자 등 각각 사용 목적과 사용 방법이 다르다. 솔루션 구매 시 이들 모두가 사용 가능한지 살펴 보아야한다. 데이터 엔지니어를 위해서는 수집, 저장 등의 기능이 손쉽게 구성 가능한지, 데이터 분석가를 위해서는 대화형 SQL 실행이 되며 결과 데이터를 본인 PC에 저장 가능한지, 시스템 운영자를 위해서는 시스템 모니터링이나 사용자 별 권한 관리 등이 가능한지가 솔루션 구매 시 고려되어야 한다. EBIGS는 위의 모든 기능을 지원하고 있다.

특히, 이 모든 기능들이 웹을 이용해 구현되어 있어 역할이 다른 사용자 모두가 편리하게 이용할 수 있다.

 

데이터 양이 증가하거나 분석해야 하는 항목이 늘 경우, 보다 빠른 분석을 위해 시스템을 고도화 하려고 할 것이다. 새로운 서버를 증설하거나 기존 서버를 고성능 서버로 변경하는 경우 시스템 변경이 발생하게 된다. 이 때, 시스템 노드의 추가나 변경을 손쉽게 할 수 있는지가 중요한 요인이 된다. EBIGS는 노드의 추가 변경을 편리하게 할 수 있도록 지원하며 변경을 위한 서비스 중지, 재기동을 각 서브 시스템의 의존 관계를 고려해 실행되도록 설계되어 있다.

 

< EBIGS 서비스 관리 화면 >

EBIGS는 각 사용자 입장에서 위의 사항들을 충분히 고려해서 개발되었다. 또한 순수 자사에서 개발된 운영관리 솔루션 ‘Flamingo’를 탑재하고 있어, 신속하고 원활한 기술지원이 가능하다. 더욱이 외산 솔루션에 비해 매우 저렴한 비용으로 동일한 성능 구현이 가능하다는 장점을 가지고 있기에, EXEM Bigdata Solution인 EBIGS를 고려하지 않을 이유가 없다.

 

엑셈이 만든 똘똘한 국산 솔루션의 저력이 다시 한 번 기대된다. 

 

 

기획 및 글 | 빅데이터사업본부

이미지 제작 | 디자인그룹 이민석

 

 

[NOW엑셈 172회] 다른 이야기도 궁금하시다면?
🅿️ 엑셈 뉴스룸 | 엑셈이 일하는 방식 ‘4P’ ⚙️ 엑셈 인사이트 | EBIGS, 빅데이터 시스템을 위한 엑셈의 제안 🇰🇷 이벤트 | 현충일 퀴즈 이벤트 🕙 엑셈 사람들 | 주 30시간 일하는 엑세머들의 삶이 궁금해요! 📙  PHILINNOVATOR | 2차 인지혁명, 인간을 넘어선 기계 #2