KNIME | KNIME이라고 들어봤어요?

코딩 없이도 데이터 분석을 할 수 있다

 

NOW 엑셈 뉴스레터를 통해 데이터 분석 플랫폼인 ‘KNIME’에 대해서 설명을 드리려고 해요. 총 5 Part로 나누어 진행되니 기대해주세요!

 

 

Part.1 KNIME

---

Q1. KNIME이 무엇인가요?

 

A1.

질문에 답하기 전에 데이터 분석을 먼저 알아볼까 해요. 데이터 분석이란, 원시데이터를 가공해 의미있는 데이터를 만들고 의사 결정에 도움이 되는 정보를 이끌어내는 것을 뜻해요. 원시데이터는 여러가지가 될 수 있어요! 키, 댐 수위 변화, 평점, 성별, 나이, 뉴스기사, 음성, 사진(각각 연속형, 시계열, 이산형, 이진데이터, 문자열, 소리, 이미지 데이터) 등을 예로 들 수 있겠네요.

이러한 원시데이터를 사람이 직접 톺아보며 유의미한 정보를 찾기에는 매우 번잡하고 어려운 일이에요. 그래서 코딩을 통해 데이터 분석을 하는 것이 보편화 되었죠. 하지만 데이터 분석을 위해 프로그래밍 언어를 새롭게 배우기에는 많은 시간과 비용이 발생해요. 또한 메커니즘도 꿰고 있어야하죠. 프로그래밍 언어가 능숙하지 않은 비개발자에게 데이터 분석이라는 업무는 곤혹 그 자체입니다.

KNIME이란, 프로그래밍 언어가 능숙하지 않은 비개발자도 마우스 클릭만으로 데이터 분석 업무를 가능케하는 플랫폼이라고 말할 수 있어요!

 

 

 

Q2. 코딩을 몰라도 데이터 분석이 가능해요?

 

A2.

그럼요! 코딩의 복잡한 문법을 몰라도 간단하게 가능해요. 예시를 한 번 볼까요?

먼저, SQL에서 코딩을 통해 데이터를 불러오는 방법이에요! (사용한 데이터는 MySQL에서 제공하는 sample data(링크)입니다.)

 

0

MySQL을 통한 데이터 불러오기

 

아래는 KNIME에서 데이터를 불러오는 방법이에요.

 

KNIME을 통한 데이터 불러오기

 

KNIME 을 통한 데이터 불러오기 결과

 

위의 예시와 같이 코딩으로 얻은 결과와 동일하게 KNIME에서도 얻을 수 있어요.

또한 전처리, 시각화, 딥러닝(이 부분은 2~5 Part에서 다룰 예정) 등 여러가지 데이터 분석을 KNIME으로 간단히 할 수 있어서 비개발자에게는 큰 힘이 될 것 같네요.

 

 

 

Q3. 간단하다는 건 알겠는데, 다른 장점도 있나요?

 

A3.

있죠, 너무나 있죠.

 

첫째, 가시성이 좋아요! 아래의 이미지를 보도록 할게요.

 

0

Python을 통한 데이터 분석 예시

 

영어만 주구장창 써있으니 이해하기가 쉽지 않죠?

아래의 이미지는 같은 역할을 하는 KNIME workflow에요. 두 가지의 이미지를 비교하니 KNIME이 얼마나 보기 쉬운 지 아시겠죠?

 

KNIME Community에서 다운받을 수 있는 workflow

 

 

둘째, 다양한 프로그래밍 언어(Java/Python/R 등)도 사용이 가능해요! KNIME으로 처리하기 귀찮은 부분은 간단한 코딩을 통해 처리할 수 있어요.

아래 Q2.에서 작성한 노드를 ‘Python Script’를 이용해 간략화시킨 이미지에요.

 

[위] KNIME을 통한 데이터 불러오기 / [아래] Python을 통한 데이터 불러오기

 

‘Python Script’ 안을 들여다볼까요?

 

Python Script 노드 내부

 

KNIME은 ‘Python Script’를 이용할 수 있다는 점을 기억해주세요.

 

 

셋째, 'Workflow Coach'라는 아주 좋은 기능이 있어요!

'Workflow Coach'는 초심자들을 위한 기능이라고 보면 될 것 같아요. KNIME을 처음 접한 분들이라면 ‘CSV Reader’로 데이터를 불러온 뒤, ‘이 다음에는 어떤 노드를 선택해야 하지?’ 하는 막막한 경우가 있을 거에요. 이러한 고민에 도움이 되는 기능이 바로 'Workflow Coach'에요. 아래의 이미지를 참고해주세요.

 

View - Workflow Coach

 

CSV Reader 이후 추천

 

KNIME을 사용하는 전세계 사람들이 ‘CSV Reader’ 다음에 어떠한 노드를 사용했는지 퍼센트로 보여주니 막막했던 노드 선택에 큰 도움이 돼요.

 

 

넷째, 커뮤니티를 통해 활발한 소통을 할 수 있고, 타인이 미리 제작한 workflow를 활용할 수 있어요!

 

KNIME 허브 웹사이트1

 

KNIME 허브 웹사이트 2

 

 

마지막으로, 앞에서 간단히 언급만 했던 머신러닝과 딥러닝, AutoML이 가능해요!

 

사진으로 강아지와 고양이를 분류하는 인공지능

 

 

이로써 KNIME에 대해 간략하게 알아보았어요.

다음 시간에는 KNIME으로 전처리를 하는 방법을 준비해올게요.

 

궁금하거나 자세하게 알고 싶은 내용은 OWLEYE(링크)를 통해 문의주시면 더욱 자세히 말씀드릴게요.

 

 

 

 

* 이미지 출처:

• Python을 통한 데이터 분석 예시: https://www.kaggle.com/code/kostavukicevic/tensorflow-100-simple-cnn-250k-weights
• KNIME Community에서 다운받을 수 있는 workflow: https://hub.knime.com/knime/spaces/Examples/latest/04_Analytics/14_Deep_Learning/03_TensorFlow/03_Train_MNIST_classifier~G7oIwag-DwpWt9Hf
• KNIME 허브 웹사이트1: https://hub.knime.com
• KNIME 허브 웹사이트 2: https://hub.knime.com/search?type=Workflow&sort=maxKudos
• 사진으로 강아지와 고양이를 분류하는 인공지능: https://www.kaggle.com/code/koslayn/classification-img-cats-dogs

 

 

 

 

 

글 | 빅데이터 분석팀 김지호, 신혜지