본문 바로가기
Chapter 3-8. 비지도 학습 Chapter 3-8. 비지도 학습 대부분의 흔히 알고있는 머신러닝 알고리즘은 지도 학습 기반의 알고리즘입니다. 이는 이전 챕터들에서도 소개되었지만, 데이터에 정답(레이블)이 알고 있는 상태로 학습을 하는 방식입니다. 본 챕터에서는 지도 학습과 상반되는 비지도 학습이 무엇이며, 왜 필요한지 그리고 어떤 문제에 적용하여 사용할 수 있는지에 대해 알아보겠습니다. 현실 세계에서 우리가 다룰수 있는 대부분의 데이터들은 정답(레이블)이 없는 데이터입니다. 그렇다면 어떻게 대부분의 지도 학습에 적용될 수 있었을까요? 이는 사람이 직접 데이터에서 라벨링 처리 과정을 수행했기 때문입니다. 이는 굉장히 비효율적이고 사람이 직접 수행하다보니 실수도 발생할 수 있고 또 많은 비용들이 발생하게 됩니다. 그렇기때문에 라벨링 처.. 2023. 7. 26.
이.빅.스 | 빅데이터 가치를 위한 데이터 시각화 안녕하세요. 이.빅.스 시리즈 어느덧 다섯 번째 시간입니다. 이번 편에서는 데이터 시각화에 대해 알아보겠습니다. 빅데이터를 시각화하기 위한 여러가지의 방법들이 있습니다. 먼저, 데이터 유형에 따라서 차트를 선택하고 목적에 맞게 시각화를 해야합니다. 위 그림과 같이 앤드루 아벨라가 고안한 목적에 따른 차트 선택 방법에는, 비교를 위한 차트는 막대 차트와 선 차트를 사용하며, 전체 데이터 중 특정 항목이 차지하는 비중을 보기 위한 구성을 위한 차트는 파이 차트, 시간에 따른 변화의 유무는 세로 칼럼 차트와 가로 칼럼 차트로 구분하여 사용할 수 있습니다. 위 지표는 엑셈에서 프로젝트를 수행한 서울시 인공지능 기반 빅데이터 서비스 플랫폼(2단계)에서 데이터를 시각화한 화면입니다. 데이터 타입에 맞게 유형별로 시.. 2023. 7. 25.
KNIME | KNIME을 활용한 텍스트 분석 이번 Part에서는 KNIME으로 텍스트 분석에 대해 알아보려고 해요! Part. 1 KNIME이라고 들어봤어요? (링크) Part. 2 데이터 처리는 알겠는데 전처리는 뭐예요? (링크) Part. 3 잘 안 보이니까 시각화 해주세요! (링크) Part. 4 KNIME을 활용한 이미지 분석 (링크) Part. 5 KNIME을 활용한 텍스트 분석 Q1. 텍스트 분석이라는 것이 무엇인가요? A1. 비정형 텍스트 데이터를 통해 인사이트를 도출하기 위한 분석작업이에요. 특정 상품의 리뷰를 분석할 수 있고, 문서의 카테고리를 분류할 수 있어요. 또한, ChatGPT같은 AI 챗봇도 텍스트 분석의 한 종류예요. 워드클라우드 기사 분류 Q2. 텍스트 분석은 어떤식으로 진행이 되나요?? A2. 텍스트 분석도 앞서 다루.. 2023. 6. 29.
Chapter 3-7. GAM 이론 및 실습 Chapter 3-7. GAM 이론 및 실습 일반적인 선형 회귀분석은 모형의 단순성으로 인해 해석과 추론이 쉽다는 장점이 있으나 예측력이라는 중요한 부분에서 한계를 가진다. 선형모형은 회귀 문제에서 독립변수와 예측변수가 선형적 관계가 있다고 가정한다. 이러한 가정이 맞는 경우도 있지만 부정확한 경우도 얼마든지 존재한다. 일반화 가법 모형(Generalized Additive Model)은 선형 가정을 완화시키는 가장 강력한 추론 방법이다. 일반화 가법 모형과 선형회귀 모형의 차이를 간단한 예제를 통해 설명하겠다. R MASS 패키지에 포함되어 있는 mcycle 데이터는 모터사이클 사고 모의실험을 통해 머리의 가속과 감속을 측정한 자료이다. 해당 데이터에서 times 필드는 충돌 후 시간(millsecon.. 2023. 6. 29.
DB 인사이드 | PostgreSQL Replication - 설정 확인 ※ 목차 ※ 1. File-based Log Shipping Replication 설정확인 2. Streaming Replication 설정확인 3. Logical Replication 설정확인 1. File-based Log Shipping Replication File-based Log Shipping Replication 설정 확인 PostgreSQL 프로세스조회를 통해서 file-based Log Shipping 설정이 되었는지 확인할 수 있습니다. Main Server에서는 archiver 프로세스가 작동하며, Standby Server에서는 Main Server에서 전송하는 WAL 파일을 대기하는 프로세스가 작동합니다. Main Server 프로세스 [postgres@main ~] ps -ef.. 2023. 6. 29.
DB 인사이드 | PostgreSQL Replication - Catalog 이번 문서에서는 PostgreSQL Replication과 관련된 Catalog에 대해 알아보겠습니다. Catalog Name Description pg_stat_replication Replication에 대한 통계 확인 pg_stat_wal_receiver WAL Receiver에 대한 통계 확인 pg_replication_slots Replication Slot에 대한 정보 확인 pg_stat_replication_slots [Since. v14] Replication Slot에 대한 통계 확인 pg_publication Logical Replication의 Publication에 대한 정보 확인 pg_publication_rel Relation과 Publication간의 매핑정보 확인 pg_pub.. 2023. 6. 29.
DB 인사이드 | PostgreSQL Replication - Function 이번 문서에서는 PostgreSQL Replication과 관련된 Function에 대해 알아보겠습니다. Function List WAL 관련 Function pg_current_wal_lsn pg_current_wal_flush_lsn pg_current_wal_insert_lsn pg_walfile_name pg_walfile_name_offset pg_switch_wal pg_wal_lsn_diff Standby Server 관련 Function pg_is_in_recovery pg_last_wal_receive_lsn pg_last_wal_replay_lsn pg_last_xact_replay_timestamp pg_get_wal_replay_pause_state pg_is_wal_replay_p.. 2023. 6. 29.
엑셈이 만든 풀스택 모니터링 SaaS 솔루션, ‘데이터세이커’ 출시 엑셈에서 매(Saker) 한 마리를 띄웠습니다. 신속하고 정확하게 고객이 원하는 결과를 사냥해줄 신제품 ‘데이터세이커(DataSaker)’가 6월 26일 공식 출시되었습니다. AWS와 함께 홍보를 진행한 데이터세이커는 매체에 정식 기사화되고, 동시에 홈페이지에 오픈하면서 그 무게감과 기대감을 가지고 출발합니다. 뭘 좋아할지 몰라서 다 준비했습니다 온프레미스에서 맥스게이지와 인터맥스를 대 히트시킨 엑셈의 이번 행보는 SaaS 모니터링입니다! 클라우드 시대 온프레미스 및 클라우드를 아우르는 전체 관점의 모니터링이 필수이듯, 데이터세이커는 인프라와 DB, 애플리케이션은 물론 쿠버네티스, 도커, 컨테이너 로그까지 시스템의 전체적인 관점에서 풀스택 모니터링 및 통합 가시성을 제공하는 SaaS 플랫폼입니다. 하나의.. 2023. 6. 29.
DB 인사이드 | PostgreSQL Replication - Trouble Shooting 📢 본 문서는 PostgreSQL Replication 설정 시 발생할 수 있는 내용을 다룹니다. PostgreSQL Replication 구성에 대한 내용은 PostgreSQL Replication - 구성을 참조하세요. 1. ssh-keygen 설정 2. listen_addresses 설정하지 않았을 경우 3. pg_hba.conf 설정하지 않았을 경우 4. max_wal_senders를 1 이하로 설정했을 경우 5. hot_standby 설정 6. Replication User 접속 불가 7. PostgreSQL Database Encoding/locale 옵션이 다른 경우 8. recovery.conf 9. postgresql.conf 위치 확인 10. pg_hba.conf 위치 확인 11. On.. 2023. 5. 25.

티스토리툴바