본문 바로가기
Chapter 3-8. 비지도 학습 Chapter 3-8. 비지도 학습 대부분의 흔히 알고있는 머신러닝 알고리즘은 지도 학습 기반의 알고리즘입니다. 이는 이전 챕터들에서도 소개되었지만, 데이터에 정답(레이블)이 알고 있는 상태로 학습을 하는 방식입니다. 본 챕터에서는 지도 학습과 상반되는 비지도 학습이 무엇이며, 왜 필요한지 그리고 어떤 문제에 적용하여 사용할 수 있는지에 대해 알아보겠습니다. 현실 세계에서 우리가 다룰수 있는 대부분의 데이터들은 정답(레이블)이 없는 데이터입니다. 그렇다면 어떻게 대부분의 지도 학습에 적용될 수 있었을까요? 이는 사람이 직접 데이터에서 라벨링 처리 과정을 수행했기 때문입니다. 이는 굉장히 비효율적이고 사람이 직접 수행하다보니 실수도 발생할 수 있고 또 많은 비용들이 발생하게 됩니다. 그렇기때문에 라벨링 처.. 2023. 7. 26.
이.빅.스 | 빅데이터 가치를 위한 데이터 시각화 안녕하세요. 이.빅.스 시리즈 어느덧 다섯 번째 시간입니다. 이번 편에서는 데이터 시각화에 대해 알아보겠습니다. 빅데이터를 시각화하기 위한 여러가지의 방법들이 있습니다. 먼저, 데이터 유형에 따라서 차트를 선택하고 목적에 맞게 시각화를 해야합니다. 위 그림과 같이 앤드루 아벨라가 고안한 목적에 따른 차트 선택 방법에는, 비교를 위한 차트는 막대 차트와 선 차트를 사용하며, 전체 데이터 중 특정 항목이 차지하는 비중을 보기 위한 구성을 위한 차트는 파이 차트, 시간에 따른 변화의 유무는 세로 칼럼 차트와 가로 칼럼 차트로 구분하여 사용할 수 있습니다. 위 지표는 엑셈에서 프로젝트를 수행한 서울시 인공지능 기반 빅데이터 서비스 플랫폼(2단계)에서 데이터를 시각화한 화면입니다. 데이터 타입에 맞게 유형별로 시.. 2023. 7. 25.
KNIME | 잘 안 보이니까 시각화 해주세요! 이번 Part에서는 KNIME으로 데이터를 활용하는 방법 중 하나인 데이터 시각화를 알아보고자 해요! 데이터 시각화는 데이터를 그래프, 차트 등과 같이 시각적 요소를 활용해 나타내는 것을 뜻해요. 시각화를 통해 한 눈에 파악하기 어려운 정보를 보다 쉽게 이해할 수 있고, 데이터를 기반으로 실행 가능한 인사이트를 도출할 수 있어요. Part. 1 KNIME이라고 들어봤어요? (링크) Part. 2 데이터 처리는 알겠는데 전처리는 뭐예요? (링크) Part. 3 잘 안 보이니까 시각화 해주세요! Q1. 시각화라면 막대그래프, 선그래프 이런 것을 말하나요?? A1. 네! 맞아요! 질문처럼 아주 간단한 그래프부터 복잡한 그래프까지 아주 다양하게 있어요! 아래의 이미지를 참고해주세요! 최상단의 행부터 각각 Dis.. 2023. 2. 22.
DB 인사이드 | PostgreSQL Architecture - 5. SQL 처리 과정 PostgreSQL SQL 처리과정 본 문서에서는 PostgreSQL의 SQL처리과정에 대해 알아보도록 하겠습니다. postgres 프로세스는 Client로부터 SQL(Query string)을 전달받으면 아래와 같은 5개의 과정을 거쳐 SQL을 처리하며 그 결과를 Client로 반환합니다. 각 과정에서는 문법체크 및 의미분석, 최적화 작업 등을 수행하며, 세부적인 내용을 각각 확인해 보도록 하겠습니다. Parser Parsing 단계는 SQL 처리과정의 첫번째 단계로 Query 구문을 분석하여 Syntax Error를 체크하고 Parse Tree를 생성합니다. 해당 단계에서는 System Catalog를 참조하지 않기 때문에 개별 요소들에 대한 의미분석(Semantic)이 불가하며 단순한 문법체크(Sy.. 2022. 4. 27.