태터데스크 관리자

도움말
닫기
적용하기   첫페이지 만들기

태터데스크 메시지

저장하였습니다.

엑기스 | 신간 출시! KNIME을 활용한 빅데이터 분석

기술이야기/엑.기.스 2019. 8. 9. 11:13

  

  

 

엑셈에서 오랜만에 책이 나왔습니다! 

데이터 분석에 관심이 있는 분들을 위해 엑셈 빅데이터사업본부에서 두 팔을 걷어 붙이고 책을 썼다고 하는데요.

어떤 책인지 지금 바로! 공개합니다 :)




“KNIME을 활용한 빅데이터 분석”

 

<(Click 하나로 끝내는 데이터 분석 KNIME) KNIME을 활용한 BIG DATA 분석>

 

“(Click 하나로 끝내는 데이터 분석 KNIME) KNIME을 활용한 BIG DATA 분석” 도서가 출판되었습니다! 빅데이터 분석팀 주관으로 집필된 도서는 데이터 분석을 위해 분석 도구(Tool, SW)를 처음 접하는 학생이나 현업담당자들이 KNIME을 활용하여 데이터 분석에 쉽게 접근할 수 있는 정보 제공을 목적으로 작성되었습니다. 그렇다면 데이터 분석 도구인 KNIME은 무엇일까요? 먼저 KNIME이 무엇인지부터 차근차근 알아보겠습니다.

 

 

 

나임(KNIME), 데이터 사이언스와 머신러닝 플랫폼의 선두 주자 

 

 

 나임(KNIME, Konstanz Information Miner)은 가트너의 2018 Magic Quadrant에서 “데이터 사이언스와 머신러닝 플랫폼‘ 분야에서 선두 그룹에 포함된 소프트웨어 중 하나입니다. 독일의 Konstanz university의 소프트웨어 엔지니어 팀이 Java로 개발하였으며, 현재 KNIME Analytics Platform은 4.0 버전, KNIME Server은 4.9 버전까지 출시되어 활용되고 있습니다.

 

 나임은 비주얼 워크플로우(Visual Workflow) 기반으로 다양한 데이터 소스(Database, File, Hadoop 등)로부터 읽기, 전처리, 변환, 분석, 평가, 시각화 등의 분석 전 과정을 드래그-앤-드롭(drag-and-drop) 방식으로 쉽게 작업할 수 있는 토탈(Total) 분석 플랫폼입니다. 비주얼 워크플로우의 특징인 빠른 구현 속도, 쉬운 학습 난이도, 높은 모듈 의존도 등의 특징을 가집니다.

 

<KNIME의 구성>

  

 나임은 크게 KNIME Analytics Platform과 KNIME Server로 구성되어 있습니다. 추가적으로 나임과 나임 파트너 그리고 나임 사용자들이 제공 및 공유하는 다양한 확장 및 통합 기능을 활용할 수 있는 환경인 KNIME Extensions, Partner Extensions, Community Extensions과 KNIME Integrations을 제공합니다. 

 

 “KNIME을 활용한 데이터 분석” 도서는 KNIME Analytics Platform을 중심으로 집필되었기에, KNIME Analytics Platform에 대해서 알아보겠습니다. KNIME Analytics Platform은 데이터 과학 응용 프로그램 및 서비스 구현을 위한 오픈 소스 소프트웨어 입니다. 데이터를 이해하고 활용할 수 있도록 직관적이며 재사용이 가능한 구성 요소로 설계되어 있으며, 사용자의 Desktop에서 사용할 수 있는 분석 플랫폼입니다. 데이터 읽기(Load), 통합(Integrate), 변환(Transform), 분석(Analyze), 시각화(Visualize) 등의 기능을 수행할 수 있습니다. KNIME Analytics Platform에서 나임 확장(KNIME Extensions)을 통하여 데이터 접근, 처리, 기계학습 알고리즘, 시각화에 활용되는 다양한 기능을 추가적으로 활용할 수 있습니다. 그리고 나임 통합(KNIME Integration)을 통하여 딥러닝을 위한 Keras, Tensorflow, 고성능 기계학습을 위한 H2O, 대용량 데이터 처리를 위한 Apach Spark와 스크립트 언어인 R과 Python을 활용할 수 있는 환경을 제공합니다. 

 

 

 

"KNIME을 활용한 데이터 분석" 도서 구성

 

<"KNIME을 활용한 데이터 분석" 목차>

 

 “KNIME을 활용한 데이터 분석” 도서는 데이터 분석을 위해 KNIME을 처음 접하는 학생 또는 현업 담당자를 대상으로 집필된 기본서 입니다. 도서는 KNIME에 대한 소개로 시작됩니다. 

• 1장 KNIME 설치 및 환경설정에서는 KNIME Analytics Platform 설치 방법, 화면구성, 환경 설정 및 메모리 설정에 대하여 설명합니다. 

• 2장 데이터 가공에서는 외부 데이터 가져오기, KNIME Analytics Platform 내 데이터 외부로 내보내기 등의 데이터 읽기와 내보내기에 대한 내용과 데이터 처리, 조작, 추출, 변수 생성 등의 데이터 처리 과정에 대하여 설명합니다. 

• 3장 데이터 탐색에서는 데이터를 수치적으로 탐색하는 방법과 다양한 그래프를 활용하여 시각적으로 탐색하는 방법에 대해 설명합니다.

• 4장 데이터 분석에서는 대표적인 머신러닝 알고리즘인 선형 회귀분석, 로지스틱 회귀분석, 의사결정나무, 랜덤포레스트, 신경망(MLP) 등의 지도학습과 연관성 분석, K-Means 군집분석, 계층적 군집분석 등의 비지도학습을 KNIME Analytics Platform에서 구현할 때 필요한 노드에 대한 설명과 실습 예제를 통한 모델 구현 절차와 결과 해석 방법에 대하여 설명합니다. 

• 마지막으로 부록 About KNIME Server에서는 KNIME Server의 특징에 대한 설명과 KNIME을 활용하면서 참고할 수 있는 웹 사이트에 대한 정보를 제공합니다. 

 

 데이터 분석 과정인 데이터 가공, 탐색 및 분석에 활용되는 노드를 바탕으로 기능, 옵션 정의, 예시 및 예제 데이터를 바탕으로 단계적 실습 방법을 설명하고 있으며, 이를 바탕으로 KNIME Analytics Platform을 처음 접하는 독자들도 쉽게 따라하며 데이터 분석 및 KNIME Analytics Platform 활용 방법을 익힐 수 있게 구성되어 있습니다.

 

 

 

"KNIME을 활용한 데이터 분석" 도서를 활용한 KNIME 학습 및 활용

 

<OWLEYE 사이트(좌), 오프라인 세미나(우측상단), 웨비나(우측하단)>

 

 마지막으로 “KNIME을 활용한 데이터 분석” 도서를 활용하여 보다 효율적으로 KNIME Analytics Platform의 활용 방법을 익히고, 데이터 분석 과정에 대해 학습에 활용할 수 있는 웹 페이지와 웨비나, 오프라인 교육 정보를 소개합니다. 도서의 내용이 쉽게 구성되어 나임을 학습하는데 별 어려움이 없을 것이지만, 온라인 교육 컨텐츠의 활용이나 KNIME을 활용하여 데이터 분석을 수행하는 분석가가 진행하는 오프라인 교육을 활용한다면 학습의 효율성이 더 높아질 것입니다. 

 

  먼저 울아이(OWLEYE) 웹 페이지를 소개합니다. 아울아이는 엑셈 빅데이터 분석팀에서 운영하는 웹 페이지입니다. “KNIME을 활용한 데이터 분석” 도서의 실습 데이터를 제공하며, 도서를 활용하여 KNIME을 학습하다가 생긴 의문점이나, KNIME 활용 과정에서 혼자 해결하기 어려운 이슈에 대한 질문을 게재하면 KNIME을 활용하는 분석가들이 해당 질문에 대한 답변을 제공합니다. 그리고 KNIME 버전 업과 같은 새로운 소식과 업종별 활용 사례에 대한 정보를 제공합니다.

 

 그리고 엑셈 아카데미에서 진행하고 있는 웨비나와 오프라인 교육이 있습니다. 이 교육 과정은 KNIME을 활용한 데이터 분석 경험이 있는 분석 전문가들이 진행하는 교육으로, 데이터 처리 및 시각화, 모델링 등의 내용을 다루는 교육과정입니다. 도서 집필에 직접 참여하고 데이터 분석 업무에서 KNIME 활용 경험이 있는 전문 분석가가 진행하는 교육이므로 도서 내용에 대한 질문 내용이나 KNIME Analytics Platform을 활용한 데이터 분석 노하우에 대하여 많은 정보를 얻을 수 있을 것입니다.

 

 지금까지 Total 분석 플랫폼인 나임에 대한 설명과 KNIME을 처음 접하는 분들에게 안내 표지판이 될 “(Click 하나로 끝내는 데이터 분석 KNIME) KNIME을 활용한 BIG DATA 분석” 도서에 대하여 소개하였습니다. 학습 시간과 활용에 오랜 시간이 소요되는 스크립트 기반의 분석 도구보다는 그래픽 기반의 사용자 환경과 워크플로우를 활용하는 KNIME을 활용하여 데이터 분석을 시작해 보시는 것은 어떨까요?

 






기고 | 빅데이터사업본부 정영진

편집 | 사업기획팀 박예영





 [Semtong 139회] PLAY WITH EXEM

다른 이야기도 궁금하시다면?

 

 

 🎯 엑셈 뉴스룸 | 엑셈 다트왕은 누구?

 🙆🏻 엑셈 뉴스룸 | 애자일 리더십

 👍🏻 엑셈 브랜드 스토리 Brand X | Mindset. #Philinnovator

 👨🏻‍💻 엑기스 | 신간 출시! KNIME을 활용한 데이터 분석

 





엑셈 사람들 | 빅데이터사업본부 빅데이터분석팀

엑셈 사람들 2019. 2. 12. 10:04


수많은 데이터들이 쏟아지는 이 시대에 꼭 필요한 팀은 어디일까요? 바로 빅데이터분석팀입니다!

엑셈 빅데이터분석팀에서는 데이터 분석을 통해 고객에게 새로운 경험과 가치를 제공하고 있는데요, 함께 알아보시죠 :)




 빅데이터분석팀이란? 

 빅데이터분석팀은 빅데이터사업본부 소속으로, 팀장, 차장, 과장, 대리, 사원, 인턴 등 총13명으로 구성되어 있습니다. 업무 특성 상 외근이나 출장이 잦은 관계로 팀원들이 한 자리에 모이는 것이 꽤나 어렵습니다. 그래서 프로젝트를 끝내고 본사로 복귀하면, 팀원들이 다같이 모여 그동안 정리하지 못했던 자료도 정리하고 사업에서 얻은 지식들을 공유하기도 합니다. 그리고 제일 중요한 휴식, 프로젝트 동안 지친 육체와 정신을 리프레시하기 위해 휴가도 떠납니다. 할 때 하고 쉴 때 쉬어야 업무의 능률이 높아지겠죠.^^

<다행히 인터뷰기간에 워크샵 일정이 포함되어서 찍을 수 있었던 소중한 단체사진>



 담당업무 

 분석 컨설팅

 분석 컨설팅은 분석팀의 핵심 업무입니다. 고객과의 인터뷰를 통해 니즈를 파악하고, 필요한 데이터를 수집하고 쓸만한 데이터로 정제합니다. 이 정제된 데이터를 기반으로 다양한 분석기법을 활용하여 고객에게 최적의 방안(인사이트)를 제공하죠


 제품

 

 또한 분석팀에서는 KNIME과 DataRobot이라는 2개의 제품에 대해서 분석·지원하고 있습니다. 독일 콘스탄츠대학교 엔지니어SW팀이 개발한 ‘나임(KNIME)’은 워크플로우 기반의 Total 분석 플랫폼으로써, 데이터수집, 정제·변환, 모델링, 시각화, 출력까지 모든 과정을 손쉽게 분석할 수 있도록 제공합니다. 뿐만 아니라 개방형 구조(Open Architecture)로 다양한 외부 애플리케이션과의 유연한 연동도 지원합니다.

 ‘데이터로봇(DataRobot)’은 데이터 준비 및 변경부터 알고리즘 선택, 튜닝, 모델 성능 비교, 그리고 예측 결과에 대한 설명, 모델 배포, 모니터링 및 관리에 이르는 머신러닝 모델 구축 전 과정에 대해서 자동 설정 기능을 제공합니다. 특히 100s여개 분석기법을 자동으로 사람의 추가 설정없이 최적의 머신러닝 알고리즘을 추천해준다는 것이 가장 큰 장점입니다. 

 컨텐츠 생산 및 교육

 컨텐츠 생산과 교육은 주로 분석을 위한 교육자료와 사내공유를 위한 발표자료, 웨비나, 매치업 등을 위해 만들어집니다. 만들어진 컨텐츠는 owleye 웹사이트 및 엑셈 아카데미를 통해 온/오프라인으로 주로 교육되고 있고요. 2018년에는 R를 활용한 데이터 분석, 시각화 등의 컨텐츠를 위주로 생산했다면, 최근에는 KNIME 교육 메뉴얼과 교육부에서 진행하는 매치업 교육을 위한 컨텐츠 개발에 집중하고 있습니다. 

 통계학, 머신러닝 등에 대한 개념부터 다양한 분석툴(엑셀, RStudio, SPSS Modeler, KNIME 등)을 활용한 분석 방법 및 시각화툴(Tableau)을 활용한 시각화 방법에 이르기까지 데이터 분석에 필요한 내용들을 고객이나 교육 관련기관에 교육해드리고 있습니다. 


 분석 모델 모니터링 및 갱신

 데이터 관리 및 분석 서비스의 장애발생에 대한 이슈 확인 및 처리를 기본적으로 지원하고요. 분석결과에 대한 모니터링 작업과 모델 갱신, 시각화 서비스도 함께 지원하고 있습니다. 또한 분석 서비스를 운영하는 고객과 분석 플랫폼을 구축한 고객에게 분석 서비스 및 분석 플랫폼이 활용할 수 있게 가이드하고 있습니다.




 분석팀에서 얻는 경험 

 분석은 마라톤에서의 “Runners’ high”와 같지 않을까 생각합니다. 고객을 상대하는 업무가 대부분이다 보니, 업무가 종료될 때나, 한 단계, 한 단계가 끝날 때마다 분석에 대한 뿌듯함을 느낍니다. 데이터마트 구축되었을 때, 분석결과가 만족스럽게 나왔을 때, 고객이 결과를 쉽게 이해하고 만족할 때, 프로젝트가 완료되었을 때, 데이터 검수되었을 때, 교육이 끝났을 때… 등등 다음단계로 넘어가는 그 시점이 꼭 게임에서의 레벨업하는 것 같아서, 기분이 뿌듯하죠!!!

 이렇게 업무를 수행하며 대부분 새로운 분야를 배우기 때문에, 지식 습득으로 자기성장을 이룩할 수 있어 일석이조라고 말할 수 있겠죠? 또한 데이터를 다루면서 항상 새로운 것에 도전하기 때문에 동기부여도 되겠죠? 하지만 때로는 통계에 대하여 잘 모르는 고객들에게 분석과 그 방향성에 대하여 설명하고 설득하다보면 정말 힘들 때가 많습니다. 그래서 매번 느끼고 있는 것이지만 고객을 설득하는 스킬이 무엇보다 중요하다는 생각이 듭니다.





 전공분야&필요역량 

관련 전공분야로는 통계학, 머신러닝 등이 있습니다. 아무래도 이 두가지 분야에 대한 전문성이 필요하겠죠! 통계와 머신러닝에 대한 학습이 어느 정도 되어 있어야 업무를 하는데 수월합니다.

 그리고 데이터 분석을 위해서는 무엇보다 데이터 핸들링 능력이 필수입니다. 최근에는 텍스트 분석, 영상, 이미지 분석과 같은 비정형 데이터 처리를 위한 스킬도 필요하지만, 아직까지는 정형데이터에 대한 분석 수요가 많기 때문에 SQL를 통한 데이터 처리 능력이 필수적입니다.

 이 외에도 문제가 주어졌을 때 혼자 힘으로 해결할 수 있는 문제해결능력이나, 의사를 전달하고 수용할 수 있는 커뮤니케이션 능력, 야근을 버틸 수 있는 체력, 수많은 실패에도 좌절하지 않는 끈기가 필요하다고 생각됩니다. 이 모든 것들은 애사심과 노력에서 비롯되겠죠?^^ 




 커리어패스&비전 

 빅데이터분석팀의 구성원이라면 누구나 분석가로서의 역량을 강화하여 데이터 사이언티스트가 되기를 꿈꿉니다. 분석팀은 앞으로 3가지 관점으로 역량을 더욱 강화할 계획입니다. 

1) 현장 경험과 이론을 동시에 겸비한 인재를 육성하여 분석 컨설팅 역량 강화 

2) 고객 수요에 맞춘 다양한 교육 컨텐츠 제공을 통한 데이터 분석전문기업으로서의 이미지 강화

3KNIME과 DataRobot 솔루션 등 제품 공급 지원 강화를 통한 가치와 서비스 제공

 마지막으로, owleye 웹사이트를 통해 누구나 분석에 대한 고민을 해결하고, 지식을 공유할 수 있는 공간을 만들어 쉽게 이해하고 소통할 수 있는 “분석 놀이터”를 만들 것입니다.







기획 및 인터뷰 | 사업기획팀 박예영

사진 촬영 | 사업기획팀 박예영