태터데스크 관리자

도움말
닫기
적용하기   첫페이지 만들기

태터데스크 메시지

저장하였습니다.

엑기스 | 신간 출시! KNIME을 활용한 빅데이터 분석

기술이야기/엑.기.스 2019.08.09 11:13

  

  

 

엑셈에서 오랜만에 책이 나왔습니다! 

데이터 분석에 관심이 있는 분들을 위해 엑셈 빅데이터사업본부에서 두 팔을 걷어 붙이고 책을 썼다고 하는데요.

어떤 책인지 지금 바로! 공개합니다 :)




“KNIME을 활용한 빅데이터 분석”

 

<(Click 하나로 끝내는 데이터 분석 KNIME) KNIME을 활용한 BIG DATA 분석>

 

“(Click 하나로 끝내는 데이터 분석 KNIME) KNIME을 활용한 BIG DATA 분석” 도서가 출판되었습니다! 빅데이터 분석팀 주관으로 집필된 도서는 데이터 분석을 위해 분석 도구(Tool, SW)를 처음 접하는 학생이나 현업담당자들이 KNIME을 활용하여 데이터 분석에 쉽게 접근할 수 있는 정보 제공을 목적으로 작성되었습니다. 그렇다면 데이터 분석 도구인 KNIME은 무엇일까요? 먼저 KNIME이 무엇인지부터 차근차근 알아보겠습니다.

 

 

 

나임(KNIME), 데이터 사이언스와 머신러닝 플랫폼의 선두 주자 

 

 

 나임(KNIME, Konstanz Information Miner)은 가트너의 2018 Magic Quadrant에서 “데이터 사이언스와 머신러닝 플랫폼‘ 분야에서 선두 그룹에 포함된 소프트웨어 중 하나입니다. 독일의 Konstanz university의 소프트웨어 엔지니어 팀이 Java로 개발하였으며, 현재 KNIME Analytics Platform은 4.0 버전, KNIME Server은 4.9 버전까지 출시되어 활용되고 있습니다.

 

 나임은 비주얼 워크플로우(Visual Workflow) 기반으로 다양한 데이터 소스(Database, File, Hadoop 등)로부터 읽기, 전처리, 변환, 분석, 평가, 시각화 등의 분석 전 과정을 드래그-앤-드롭(drag-and-drop) 방식으로 쉽게 작업할 수 있는 토탈(Total) 분석 플랫폼입니다. 비주얼 워크플로우의 특징인 빠른 구현 속도, 쉬운 학습 난이도, 높은 모듈 의존도 등의 특징을 가집니다.

 

<KNIME의 구성>

  

 나임은 크게 KNIME Analytics Platform과 KNIME Server로 구성되어 있습니다. 추가적으로 나임과 나임 파트너 그리고 나임 사용자들이 제공 및 공유하는 다양한 확장 및 통합 기능을 활용할 수 있는 환경인 KNIME Extensions, Partner Extensions, Community Extensions과 KNIME Integrations을 제공합니다. 

 

 “KNIME을 활용한 데이터 분석” 도서는 KNIME Analytics Platform을 중심으로 집필되었기에, KNIME Analytics Platform에 대해서 알아보겠습니다. KNIME Analytics Platform은 데이터 과학 응용 프로그램 및 서비스 구현을 위한 오픈 소스 소프트웨어 입니다. 데이터를 이해하고 활용할 수 있도록 직관적이며 재사용이 가능한 구성 요소로 설계되어 있으며, 사용자의 Desktop에서 사용할 수 있는 분석 플랫폼입니다. 데이터 읽기(Load), 통합(Integrate), 변환(Transform), 분석(Analyze), 시각화(Visualize) 등의 기능을 수행할 수 있습니다. KNIME Analytics Platform에서 나임 확장(KNIME Extensions)을 통하여 데이터 접근, 처리, 기계학습 알고리즘, 시각화에 활용되는 다양한 기능을 추가적으로 활용할 수 있습니다. 그리고 나임 통합(KNIME Integration)을 통하여 딥러닝을 위한 Keras, Tensorflow, 고성능 기계학습을 위한 H2O, 대용량 데이터 처리를 위한 Apach Spark와 스크립트 언어인 R과 Python을 활용할 수 있는 환경을 제공합니다. 

 

 

 

"KNIME을 활용한 데이터 분석" 도서 구성

 

<"KNIME을 활용한 데이터 분석" 목차>

 

 “KNIME을 활용한 데이터 분석” 도서는 데이터 분석을 위해 KNIME을 처음 접하는 학생 또는 현업 담당자를 대상으로 집필된 기본서 입니다. 도서는 KNIME에 대한 소개로 시작됩니다. 

• 1장 KNIME 설치 및 환경설정에서는 KNIME Analytics Platform 설치 방법, 화면구성, 환경 설정 및 메모리 설정에 대하여 설명합니다. 

• 2장 데이터 가공에서는 외부 데이터 가져오기, KNIME Analytics Platform 내 데이터 외부로 내보내기 등의 데이터 읽기와 내보내기에 대한 내용과 데이터 처리, 조작, 추출, 변수 생성 등의 데이터 처리 과정에 대하여 설명합니다. 

• 3장 데이터 탐색에서는 데이터를 수치적으로 탐색하는 방법과 다양한 그래프를 활용하여 시각적으로 탐색하는 방법에 대해 설명합니다.

• 4장 데이터 분석에서는 대표적인 머신러닝 알고리즘인 선형 회귀분석, 로지스틱 회귀분석, 의사결정나무, 랜덤포레스트, 신경망(MLP) 등의 지도학습과 연관성 분석, K-Means 군집분석, 계층적 군집분석 등의 비지도학습을 KNIME Analytics Platform에서 구현할 때 필요한 노드에 대한 설명과 실습 예제를 통한 모델 구현 절차와 결과 해석 방법에 대하여 설명합니다. 

• 마지막으로 부록 About KNIME Server에서는 KNIME Server의 특징에 대한 설명과 KNIME을 활용하면서 참고할 수 있는 웹 사이트에 대한 정보를 제공합니다. 

 

 데이터 분석 과정인 데이터 가공, 탐색 및 분석에 활용되는 노드를 바탕으로 기능, 옵션 정의, 예시 및 예제 데이터를 바탕으로 단계적 실습 방법을 설명하고 있으며, 이를 바탕으로 KNIME Analytics Platform을 처음 접하는 독자들도 쉽게 따라하며 데이터 분석 및 KNIME Analytics Platform 활용 방법을 익힐 수 있게 구성되어 있습니다.

 

 

 

"KNIME을 활용한 데이터 분석" 도서를 활용한 KNIME 학습 및 활용

 

<OWLEYE 사이트(좌), 오프라인 세미나(우측상단), 웨비나(우측하단)>

 

 마지막으로 “KNIME을 활용한 데이터 분석” 도서를 활용하여 보다 효율적으로 KNIME Analytics Platform의 활용 방법을 익히고, 데이터 분석 과정에 대해 학습에 활용할 수 있는 웹 페이지와 웨비나, 오프라인 교육 정보를 소개합니다. 도서의 내용이 쉽게 구성되어 나임을 학습하는데 별 어려움이 없을 것이지만, 온라인 교육 컨텐츠의 활용이나 KNIME을 활용하여 데이터 분석을 수행하는 분석가가 진행하는 오프라인 교육을 활용한다면 학습의 효율성이 더 높아질 것입니다. 

 

  먼저 울아이(OWLEYE) 웹 페이지를 소개합니다. 아울아이는 엑셈 빅데이터 분석팀에서 운영하는 웹 페이지입니다. “KNIME을 활용한 데이터 분석” 도서의 실습 데이터를 제공하며, 도서를 활용하여 KNIME을 학습하다가 생긴 의문점이나, KNIME 활용 과정에서 혼자 해결하기 어려운 이슈에 대한 질문을 게재하면 KNIME을 활용하는 분석가들이 해당 질문에 대한 답변을 제공합니다. 그리고 KNIME 버전 업과 같은 새로운 소식과 업종별 활용 사례에 대한 정보를 제공합니다.

 

 그리고 엑셈 아카데미에서 진행하고 있는 웨비나와 오프라인 교육이 있습니다. 이 교육 과정은 KNIME을 활용한 데이터 분석 경험이 있는 분석 전문가들이 진행하는 교육으로, 데이터 처리 및 시각화, 모델링 등의 내용을 다루는 교육과정입니다. 도서 집필에 직접 참여하고 데이터 분석 업무에서 KNIME 활용 경험이 있는 전문 분석가가 진행하는 교육이므로 도서 내용에 대한 질문 내용이나 KNIME Analytics Platform을 활용한 데이터 분석 노하우에 대하여 많은 정보를 얻을 수 있을 것입니다.

 

 지금까지 Total 분석 플랫폼인 나임에 대한 설명과 KNIME을 처음 접하는 분들에게 안내 표지판이 될 “(Click 하나로 끝내는 데이터 분석 KNIME) KNIME을 활용한 BIG DATA 분석” 도서에 대하여 소개하였습니다. 학습 시간과 활용에 오랜 시간이 소요되는 스크립트 기반의 분석 도구보다는 그래픽 기반의 사용자 환경과 워크플로우를 활용하는 KNIME을 활용하여 데이터 분석을 시작해 보시는 것은 어떨까요?

 






기고 | 빅데이터사업본부 정영진

편집 | 사업기획팀 박예영





 [Semtong 139회] PLAY WITH EXEM

다른 이야기도 궁금하시다면?

 

 

 🎯 엑셈 뉴스룸 | 엑셈 다트왕은 누구?

 🙆🏻 엑셈 뉴스룸 | 애자일 리더십

 👍🏻 엑셈 브랜드 스토리 Brand X | Mindset. #Philinnovator

 👨🏻‍💻 엑기스 | 신간 출시! KNIME을 활용한 데이터 분석

 





엑셈 뉴스룸 | 빅데이터 전문기업 EXEM의 빅데이터 STORY

엑셈 뉴스룸 2019.03.07 12:57

 

 

빅데이터 속에서 의미를 찾고, 새로운 가치를 만들어 내는 사람들을 무엇이라고 부를까요? 바로 데이터 사이언티스트(Data Scientist)입니다. 엑셈에도 데이터 사이언티스트들이 활약하고 있는데요. 이번에는 지난 달 인터뷰에 이어 IT 성능관리, 빅데이터, 인공지능 전문기업 EXEM의 빅데이터 사업 및 제품, 콘텐츠들을 소개해드립니다 :)

 

  


#사업

 한국전력공사 

 엑셈은 한국전력공사(이하 한전)와 인연이 깊습니다. 2017년 “KEPCO 빅데이터 통합 플랫폼 구축”사업을 수행하였을 뿐만 아니라, 한전 임직원들을 대상으로 빅데이터 분석 심화 교육도 진행하였지요. 최근 연이어 “빅데이터 분석 사례 자산화”사업과 “빅데이터 플랫폼 운영유지보수”사업도 수주하여 수행하고 있습니다.

 

<"빅데이터 분석사례 자산화"사업>

  

 본 사업은 Decision Tree, 회귀분석, 군집분석, 인공신경망 등 4대 핵심 분석기법 활용 사례를 개발하고, 기존 분석 시범사업 결과물인 데이터셋 및 분석 알고리즘 등을 시각화 화면과 연계 개발합니다. 또한 데이터의 형태, 속성, 건수 등을 기반으로 분석 알고리즘을 추천해주는 로직, 매뉴얼 검색 기능, 예측 모델 공유 게시판 등을 개발하여 한전 임직원 일반사용자의 데이터 이용과 분석에 대한 이해를 도모하고, 플랫폼 이용활성화 등을 목표로 하고 있습니다.

 

 

<”빅데이터 플랫폼 운영유지보수” 사업>

 

 

 본 사업은 SCADA, ERP 등 Legacy 시스템들의 전력 및 전력산업과 관련된 데이터를 통합·저장하여 공통 플랫폼과 연계하는 허브 역할을 하는 빅데이터 통합 플랫폼의 총 90종 인프라(HW, SW, NW 등)와 137TB 보유데이터를 운영하며 빅데이터 분석 지원, 포털 운영 등을 수행하는 사업입니다. 엑셈은 운영 주관사로서 24시간 365일 안정적인 운영 및 유지관리를 위한 표준프로세스와 체크리스트, 전문인력, 기술지원 및 협업 체계 등에 대한 노하우가 더욱 더 강화될 것으로 기대됩니다. 

 

 

 S사 

<”빅데이터 & AI 기반 분석 컨설팅” 사업>

 

 

 시장의 흐름에 맞추어 과학적, 체계적, 전략적인 상품 기획을 위해 S사에서 수행한 사업입니다. 2018년 8월부터 약 6개월간 1차 사업을 성공적으로 수행하였고, 지난 2월부터 2차 사업을 순조롭게 수행 중입니다. 

 1차 사업은 상품 기획 시 고려되는 각종 데이터를 수집하여 다양한 분석기법을 통해 기존 상품 기획의 적절성을 검증하고, 향후 상품 계획 예측 모델화를 위한 인사이트를 도출한 성공적인 분석 컨설팅 프로젝트였는데요. MD(상품기획자)들의 느낌과 경험을 기반으로 한 관행적·감각적인 매장 공급량 산정 방식에서, ‘매장 특성 데이터’ 기반의 공급량 산정 방식으로 개선하였고, 판매효율성 지표, 매장 효율성 랭킹 체계 수립, 판매 리드 채널 상품 우선 전시 등이 획기적으로 반영되는 성공사례를 확보하였습니다. 

 엑셈 빅데이터분석팀은 1차 컨설팅 프로젝트 수행 노하우를 기반으로, 향후 온·오프라인 소매(Retail) 유통 등의 영역까지 빅데이터 분석 컨설팅을 다각화 및 확장할 예정입니다.

 

 

 

#제품

 Flamingo 

 

 엑셈에는 MaxGauge와 InterMax외에도 하둡에코시스템을 통합하여 운영·관리하는 빅데이터 성능 관리 솔루션 플라밍고가 있습니다. 빅데이터기술팀에서는 기존 플라밍고 v3.0에 워크플로우 기반 모니터링 및 자원 사용 통계 기능을 추가하여, 데이터 정제를 위한 최적화된 솔루션으로 재탄생 작업을 진행 중입니다. 

 


 플라밍고 고도화와 더불어 엑셈은 국내 빅데이터 분석 시장을 선도하기위해 빅데이터 분석 솔루션 기업 ‘나임(KNIME)’, 머신러닝 자동화 솔루션 기업 ‘데이터로봇(DataRobot)’과 파트너 계약을 맺었는데요. 두 제품도 소개해드리겠습니다.

 

 KNIME 

 엑셈은나임(KNIME)과 분석 플랫폼을 사용하는 ‘Trusted Partner’로 손을 잡았습니다. 나임은 가트너 2019년 ‘Magic Quadrant’ 보고서의 데이터 사이언스 및 머신러닝 플랫폼 부문 시각화 완성도 측면에서 가장 우수한 솔루션으로 선정되었으며, 시각화 부문과 더불어 실행 능력 측면까지 고려하였을 때에는 ‘리더(leader)’ 그룹에 선정되었습니다.

 독일 콘스탄츠대학교 엔지니어 SW팀이 개발한 ‘나임(KNIME)’은 워크플로우 기반의 VPL(Visual Programming Language) 분석 툴로서 데이터 수집, 정제·변환, 모델링, 시각화, 출력까지 모든 과정을 손쉽게 분석할 수 있도록 제공하는데요, 코딩 방식이 아닌 드래그 앤 드롭 방식을 사용합니다. 뿐만 아니라 개방형 구조(Open Architecture)로 다양한 외부 애플리케이션과의 유연한 연동도 지원합니다. 

 나임은 공개 SW이지만 대용량의 데이터를 활용하거나 분석결과를 공유하려면 반드시 서버버전을 구매해야 합니다. 그래서 공개 SW의 장점을 살리기 위해 엑셈에서는 owleye 사이트를 통한 분석 컨텐츠 공유, 웨비나(webinar), CookBook 책 출간 등을 통해 매스 마케팅 진행 예정입니다.  

 

 DataRobot 

 

 또한 엑셈은 ‘데이터로봇(DataRobot)’과 AI 프로그램을 사용하는 ‘Value Added Reseller’로 파트너 계약을 맺었는데요. 데이터로봇은 가트너 2019년 ‘Magic Quadrant’ 보고서의 데이터 사이언스 및 머신러닝 플랫폼 부문과 시각화 완성도 측면에서 가장 우수한 솔루션으로 선정되었으며, 시각화 부문과 더불어 실행 능력 측면까지 고려하였을 때에는 ‘비저너리(Visionary)’ 그룹에 선정되었습니다.
 머신러닝 자동화 솔루션인 ‘데이터로봇(DataRobot)’은 머신러닝 모델 구축 전 과정에 대한 자동화를 통해 모델을 최적화하거나 검증을 자동화하여 분석결과를 해석하고, 고객과 소통할 수 있는 시간을 극대화 해주는 솔루션입니다. 폭발적인 수요에 비해 절대적으로 부족한 데이터 사이언티스트들을 지원하는 분석 자동화 도구로서, 단 한 번의 클릭을 통해 최적의 알고리즘 조합을 찾아내고, 예측 결과와 실제 결과를 비교하여 최적의 모델을 제공합니다. 즉 수학, 프로그래밍, 통계 지식을 모두 갖춘 데이터 사이언티스트가 아니더라도, 데이터로봇을 활용하여 업무담당자가 직접 분석한 결과에 대한 해석을 데이터 사이언티스트와 논의한다면 최상의 분석결과를 얻을 수 있는 엄청난 장점이 있습니다. 
 현재 엑셈에서는 크게 3가지 주제를 가지고 A보험사에서 PoC 착수 준비 중입니다.
1. Orphan Customer(고아 고객)에 최적의 MP(보험 설계자) Matching
2. Up/Cross-sell Modeling을 고객 추천
3. 고객 충성도 개선을 위한 고객 맞춤형 서비스 전개

 

 

 

#콘텐츠

 Match業 프로그램 

 엑셈은 Match業 프로그램 빅데이터 분야 대표기관인 것 모두 아시죠? 인공지능 분야 뿐만 아니라, 빅데이터 분야에서도 컨텐츠를 생산하고 있는데요. 빅데이터 플랫폼 구축 분야의 아래 4강좌로 구성될 예정입니다. 열심히 콘텐츠를 생산하여 촬영 중이니, 많은 기대 해주세요! 

- 빅데이터 이해 및 역량 진단과 구축

- 하둡 에코 시스템의 이해와 활용

- 빅데이터 플랫폼 구축 절차와 요소기술

- 빅데이터 분석 기획 및 방법론

 

 KNIME Book 

 

 

 앞서 언급하였던 것처럼, 엑셈에서는 "KNIME(나임)을 활용한 빅데이터 분석"을 집필 중에 있으며, 현재 95% 정도 완성되었습니다. 나임을 활용할 때 꼭 필요한 내용들을 보기 쉽게 구성한 책이라, KNIME을 활용하고자 하는 학생, 분석가, 일반인 등 모두에게 바이블처럼 여겨지기를 바랍니다. 한시 빨리 선보여서 고객사에 더욱 차별화된 데이터 분석 서비스를 제공하는 마케팅 기반이 되기를 기대하고 있습니다.




엑셈의 빅데이터 사업에 대하여 더 궁금하다면? 여기를 눌러 문의해보세요!




기고 | 빅데이터사업본부 김미현

편집 | 사업기획팀 박예영