태터데스크 관리자

도움말
닫기
적용하기   첫페이지 만들기

태터데스크 메시지

저장하였습니다.

엑셈 뉴스룸 | 빅데이터 전문기업 EXEM의 빅데이터 STORY

엑셈 뉴스룸 2019.03.07 12:57

 

 

빅데이터 속에서 의미를 찾고, 새로운 가치를 만들어 내는 사람들을 무엇이라고 부를까요? 바로 데이터 사이언티스트(Data Scientist)입니다. 엑셈에도 데이터 사이언티스트들이 활약하고 있는데요. 이번에는 지난 달 인터뷰에 이어 IT 성능관리, 빅데이터, 인공지능 전문기업 EXEM의 빅데이터 사업 및 제품, 콘텐츠들을 소개해드립니다 :)

 

  


#사업

 한국전력공사 

 엑셈은 한국전력공사(이하 한전)와 인연이 깊습니다. 2017년 “KEPCO 빅데이터 통합 플랫폼 구축”사업을 수행하였을 뿐만 아니라, 한전 임직원들을 대상으로 빅데이터 분석 심화 교육도 진행하였지요. 최근 연이어 “빅데이터 분석 사례 자산화”사업과 “빅데이터 플랫폼 운영유지보수”사업도 수주하여 수행하고 있습니다.

 

<"빅데이터 분석사례 자산화"사업>

  

 본 사업은 Decision Tree, 회귀분석, 군집분석, 인공신경망 등 4대 핵심 분석기법 활용 사례를 개발하고, 기존 분석 시범사업 결과물인 데이터셋 및 분석 알고리즘 등을 시각화 화면과 연계 개발합니다. 또한 데이터의 형태, 속성, 건수 등을 기반으로 분석 알고리즘을 추천해주는 로직, 매뉴얼 검색 기능, 예측 모델 공유 게시판 등을 개발하여 한전 임직원 일반사용자의 데이터 이용과 분석에 대한 이해를 도모하고, 플랫폼 이용활성화 등을 목표로 하고 있습니다.

 

 

<”빅데이터 플랫폼 운영유지보수” 사업>

 

 

 본 사업은 SCADA, ERP 등 Legacy 시스템들의 전력 및 전력산업과 관련된 데이터를 통합·저장하여 공통 플랫폼과 연계하는 허브 역할을 하는 빅데이터 통합 플랫폼의 총 90종 인프라(HW, SW, NW 등)와 137TB 보유데이터를 운영하며 빅데이터 분석 지원, 포털 운영 등을 수행하는 사업입니다. 엑셈은 운영 주관사로서 24시간 365일 안정적인 운영 및 유지관리를 위한 표준프로세스와 체크리스트, 전문인력, 기술지원 및 협업 체계 등에 대한 노하우가 더욱 더 강화될 것으로 기대됩니다. 

 

 

 S사 

<”빅데이터 & AI 기반 분석 컨설팅” 사업>

 

 

 시장의 흐름에 맞추어 과학적, 체계적, 전략적인 상품 기획을 위해 S사에서 수행한 사업입니다. 2018년 8월부터 약 6개월간 1차 사업을 성공적으로 수행하였고, 지난 2월부터 2차 사업을 순조롭게 수행 중입니다. 

 1차 사업은 상품 기획 시 고려되는 각종 데이터를 수집하여 다양한 분석기법을 통해 기존 상품 기획의 적절성을 검증하고, 향후 상품 계획 예측 모델화를 위한 인사이트를 도출한 성공적인 분석 컨설팅 프로젝트였는데요. MD(상품기획자)들의 느낌과 경험을 기반으로 한 관행적·감각적인 매장 공급량 산정 방식에서, ‘매장 특성 데이터’ 기반의 공급량 산정 방식으로 개선하였고, 판매효율성 지표, 매장 효율성 랭킹 체계 수립, 판매 리드 채널 상품 우선 전시 등이 획기적으로 반영되는 성공사례를 확보하였습니다. 

 엑셈 빅데이터분석팀은 1차 컨설팅 프로젝트 수행 노하우를 기반으로, 향후 온·오프라인 소매(Retail) 유통 등의 영역까지 빅데이터 분석 컨설팅을 다각화 및 확장할 예정입니다.

 

 

 

#제품

 Flamingo 

 

 엑셈에는 MaxGauge와 InterMax외에도 하둡에코시스템을 통합하여 운영·관리하는 빅데이터 성능 관리 솔루션 플라밍고가 있습니다. 빅데이터기술팀에서는 기존 플라밍고 v3.0에 워크플로우 기반 모니터링 및 자원 사용 통계 기능을 추가하여, 데이터 정제를 위한 최적화된 솔루션으로 재탄생 작업을 진행 중입니다. 

 


 플라밍고 고도화와 더불어 엑셈은 국내 빅데이터 분석 시장을 선도하기위해 빅데이터 분석 솔루션 기업 ‘나임(KNIME)’, 머신러닝 자동화 솔루션 기업 ‘데이터로봇(DataRobot)’과 파트너 계약을 맺었는데요. 두 제품도 소개해드리겠습니다.

 

 KNIME 

 엑셈은나임(KNIME)과 분석 플랫폼을 사용하는 ‘Trusted Partner’로 손을 잡았습니다. 나임은 가트너 2019년 ‘Magic Quadrant’ 보고서의 데이터 사이언스 및 머신러닝 플랫폼 부문 시각화 완성도 측면에서 가장 우수한 솔루션으로 선정되었으며, 시각화 부문과 더불어 실행 능력 측면까지 고려하였을 때에는 ‘리더(leader)’ 그룹에 선정되었습니다.

 독일 콘스탄츠대학교 엔지니어 SW팀이 개발한 ‘나임(KNIME)’은 워크플로우 기반의 VPL(Visual Programming Language) 분석 툴로서 데이터 수집, 정제·변환, 모델링, 시각화, 출력까지 모든 과정을 손쉽게 분석할 수 있도록 제공하는데요, 코딩 방식이 아닌 드래그 앤 드롭 방식을 사용합니다. 뿐만 아니라 개방형 구조(Open Architecture)로 다양한 외부 애플리케이션과의 유연한 연동도 지원합니다. 

 나임은 공개 SW이지만 대용량의 데이터를 활용하거나 분석결과를 공유하려면 반드시 서버버전을 구매해야 합니다. 그래서 공개 SW의 장점을 살리기 위해 엑셈에서는 owleye 사이트를 통한 분석 컨텐츠 공유, 웨비나(webinar), CookBook 책 출간 등을 통해 매스 마케팅 진행 예정입니다.  

 

 DataRobot 

 

 또한 엑셈은 ‘데이터로봇(DataRobot)’과 AI 프로그램을 사용하는 ‘Value Added Reseller’로 파트너 계약을 맺었는데요. 데이터로봇은 가트너 2019년 ‘Magic Quadrant’ 보고서의 데이터 사이언스 및 머신러닝 플랫폼 부문과 시각화 완성도 측면에서 가장 우수한 솔루션으로 선정되었으며, 시각화 부문과 더불어 실행 능력 측면까지 고려하였을 때에는 ‘비저너리(Visionary)’ 그룹에 선정되었습니다.
 머신러닝 자동화 솔루션인 ‘데이터로봇(DataRobot)’은 머신러닝 모델 구축 전 과정에 대한 자동화를 통해 모델을 최적화하거나 검증을 자동화하여 분석결과를 해석하고, 고객과 소통할 수 있는 시간을 극대화 해주는 솔루션입니다. 폭발적인 수요에 비해 절대적으로 부족한 데이터 사이언티스트들을 지원하는 분석 자동화 도구로서, 단 한 번의 클릭을 통해 최적의 알고리즘 조합을 찾아내고, 예측 결과와 실제 결과를 비교하여 최적의 모델을 제공합니다. 즉 수학, 프로그래밍, 통계 지식을 모두 갖춘 데이터 사이언티스트가 아니더라도, 데이터로봇을 활용하여 업무담당자가 직접 분석한 결과에 대한 해석을 데이터 사이언티스트와 논의한다면 최상의 분석결과를 얻을 수 있는 엄청난 장점이 있습니다. 
 현재 엑셈에서는 크게 3가지 주제를 가지고 A보험사에서 PoC 착수 준비 중입니다.
1. Orphan Customer(고아 고객)에 최적의 MP(보험 설계자) Matching
2. Up/Cross-sell Modeling을 고객 추천
3. 고객 충성도 개선을 위한 고객 맞춤형 서비스 전개

 

 

 

#콘텐츠

 Match業 프로그램 

 엑셈은 Match業 프로그램 빅데이터 분야 대표기관인 것 모두 아시죠? 인공지능 분야 뿐만 아니라, 빅데이터 분야에서도 컨텐츠를 생산하고 있는데요. 빅데이터 플랫폼 구축 분야의 아래 4강좌로 구성될 예정입니다. 열심히 콘텐츠를 생산하여 촬영 중이니, 많은 기대 해주세요! 

- 빅데이터 이해 및 역량 진단과 구축

- 하둡 에코 시스템의 이해와 활용

- 빅데이터 플랫폼 구축 절차와 요소기술

- 빅데이터 분석 기획 및 방법론

 

 KNIME Book 

 

 

 앞서 언급하였던 것처럼, 엑셈에서는 "KNIME(나임)을 활용한 빅데이터 분석"을 집필 중에 있으며, 현재 95% 정도 완성되었습니다. 나임을 활용할 때 꼭 필요한 내용들을 보기 쉽게 구성한 책이라, KNIME을 활용하고자 하는 학생, 분석가, 일반인 등 모두에게 바이블처럼 여겨지기를 바랍니다. 한시 빨리 선보여서 고객사에 더욱 차별화된 데이터 분석 서비스를 제공하는 마케팅 기반이 되기를 기대하고 있습니다.




엑셈의 빅데이터 사업에 대하여 더 궁금하다면? 여기를 눌러 문의해보세요!




기고 | 빅데이터사업본부 김미현

편집 | 사업기획팀 박예영

플라밍고 | 빅데이터 성능관리 솔루션, 플라밍고

기술이야기/엑.기.스 2018.08.09 10:20



다양한 빅데이터 분석 환경에서 시스템 운영자 및 분석가는 시스템 성능 관리에 큰 어려움을 겪고 있습니다.

서버 중단 시 인지하기 조차 힘든 Scale Out 및 HA 특성을 가진 빅데이터 분석 환경을 보다 투명하게 관리할 수 있는 통합된 솔루션이 필요하죠. 

바로 엑셈의 Flamingo 입니다! 

빅데이터 성능 관리 솔루션 플라밍고가 업데이트 되었다고 하는데요, 함께 알아봅시다 :)



1. 제품 개요

Flamingo는 빅데이터 플랫폼인 하둡 클러스터의 통합 관리 솔루션으로, 하둡과 에코 시스템의 실시간 서비스 감시 및 주요 성능 지표의 수집, 진단 및 모니터링, 데이터 처리를 위한 워크플로우  작성, 데이터 분석 지원까지 이르는 하둡 시스템의 가용성 및 성능의 관리를 효율적으로 수행할 수 있도록 지원합니다.



2. 제품 특징
2.1 Realtime Monitoring
- Hadoop과 EcoSystem에 최적화된 다양한 성능 지표의 실시간 감시
- 지원 Hadoop Ecosystems
 (1) Hadoop Core Server 
 (2) Apache Spark
 (3) Apache Hive
 (4) HDFS
 (5) Apache Oozie
 (6) Zookeeper
 (7) HBase
 (8) Cluster Servers

2.2 Workflow
- 작성하기 어려운 워크플로우를 간단히 작성하고 손쉽게 테스트할 수 있는 환경 지원
- workflow지원 형식
 (1) Workflow (Designer & Monitoring)
 (2) Apache Oozie workflow (Designer & Manager & Monitoring)

2.3 Data Analysis
- 다양한 빅데이터 환경에서 필요한 정보 도출을 위한 분석 환경 지원
- 지원 방식
 (1) Notebook(R/python 등)
 (2) Hive, HBase Editor
 (3) R-Studio 연계 지원

2.4 Security
- 설정하기 어려운 Hadoop과 Ecosystems의 보안 및 권한레벨까지의 설정까지 쉽게 할 수 있도록 지원
- 지원 Ecosystems 
 (1) HBase
 (2) Hive
 (3) Kafka
 (4) Solr
 (5) NiFi
 (6) Yarn
 (7) HDFS



3. 제품 스펙


구분

내용

비고

OS

Linux Kernel 2.6 이상

CentOS 6 이상

Database

PostgreSQL 9.2 이상

UTF-8 Character Set
Oozie
모니터링은 현재 PostgreSQL만 지원

CPU

8Core 이상

Memory

16G 이상

Java

JDK 1.8 이상

Hortonworks HDP

Hortonworks HDP 2.4 이상

상세 기능 지원 여부는 확인 필요

Cloudera CDH

Cloudera CDH 5.4 이상

상세 기능 지원 여부는 확인 필요

Apache Hadoop

Apache Hadoop 2.3 이상

Web Browser

Internet Explorer 10+, Google Chrome, Safari, Firefox

Chrome 사용을 권장함

제품 권장 해상도

1440 X 900 이상

기타

Jupyter notebookSSL 기능 사용을 위해서는 URL
도메인 및 유료 인증서를 확보한 사이트만 적용 가능

URL 도메인 및 유료 인증서를 확보하지 못한
사이트에서는 HTTP 방식으로만 세팅 가능



4. 업데이트 내용

4.1 Apache oozie 지원 기능 향상

- Apache ecosystem 중 workflow scheduler system인 oozie를 손쉽게 사용할 수 있는 기능 대거 추가

- oozie workflow designer : oozie의 workflow를 GUI 기반으로 손쉽게 만들고 테스트 할 수 있는 디자이너 기능


- oozie coordinator designer : oozie의 coordiantor를 GUI 기반으로 손쉽게 만들고 테스트 할 수 있는 디자이너 기능


- oozie bundle manager : oozie의 bundle을 GUI 기반으로 손쉽게 만들고 테스트 할 수 있는 관리자 기능



4.2 Security 기능 추가

- Hadoop과 Ecosystem들의 보안을 손쉽게 설정하고 권한 레벨까지 설정할 수 있는 기능 추가 (Ranger 기반)

- 지원 Ecosystems 

(1) HBase

(2) Hive

(3) Kafka

(4) Solr

(5) NiFi

(6) Yarn

(7) HDFS


<policy 관리 화면>


<audit 화면>


<보안 관련 세팅 화면>



앞으로도 계속 발전해 나갈 Flamingo 많은 기대와 응원 부탁드립니다.^^

플라밍고 파이팅 :)




기고 | 빅데이터개발팀 한현우

편집 | 사업기획팀 박예영