본문 바로가기
KNIME | KNIME을 활용한 텍스트 분석 이번 Part에서는 KNIME으로 텍스트 분석에 대해 알아보려고 해요! Part. 1 KNIME이라고 들어봤어요? (링크) Part. 2 데이터 처리는 알겠는데 전처리는 뭐예요? (링크) Part. 3 잘 안 보이니까 시각화 해주세요! (링크) Part. 4 KNIME을 활용한 이미지 분석 (링크) Part. 5 KNIME을 활용한 텍스트 분석 Q1. 텍스트 분석이라는 것이 무엇인가요? A1. 비정형 텍스트 데이터를 통해 인사이트를 도출하기 위한 분석작업이에요. 특정 상품의 리뷰를 분석할 수 있고, 문서의 카테고리를 분류할 수 있어요. 또한, ChatGPT같은 AI 챗봇도 텍스트 분석의 한 종류예요. 워드클라우드 기사 분류 Q2. 텍스트 분석은 어떤식으로 진행이 되나요?? A2. 텍스트 분석도 앞서 다루.. 2023. 6. 29.
Chapter 3-7. GAM 이론 및 실습 Chapter 3-7. GAM 이론 및 실습 일반적인 선형 회귀분석은 모형의 단순성으로 인해 해석과 추론이 쉽다는 장점이 있으나 예측력이라는 중요한 부분에서 한계를 가진다. 선형모형은 회귀 문제에서 독립변수와 예측변수가 선형적 관계가 있다고 가정한다. 이러한 가정이 맞는 경우도 있지만 부정확한 경우도 얼마든지 존재한다. 일반화 가법 모형(Generalized Additive Model)은 선형 가정을 완화시키는 가장 강력한 추론 방법이다. 일반화 가법 모형과 선형회귀 모형의 차이를 간단한 예제를 통해 설명하겠다. R MASS 패키지에 포함되어 있는 mcycle 데이터는 모터사이클 사고 모의실험을 통해 머리의 가속과 감속을 측정한 자료이다. 해당 데이터에서 times 필드는 충돌 후 시간(millsecon.. 2023. 6. 29.
DB 인사이드 | PostgreSQL Replication - 설정 확인 ※ 목차 ※1. File-based Log Shipping Replication 설정확인2. Streaming Replication 설정확인3. Logical Replication 설정확인 1. File-based Log Shipping ReplicationFile-based Log Shipping Replication 설정 확인PostgreSQL 프로세스조회를 통해서 file-based Log Shipping 설정이 되었는지 확인할 수 있습니다. Main Server에서는 archiver 프로세스가 작동하며, Standby Server에서는 Main Server에서 전송하는 WAL 파일을 대기하는 프로세스가 작동합니다.Main Server 프로세스[postgres@main ~] ps -ef | grep.. 2023. 6. 29.
DB 인사이드 | PostgreSQL Replication - Catalog 이번 문서에서는 PostgreSQL Replication과 관련된 Catalog에 대해 알아보겠습니다. Catalog NameDescriptionpg_stat_replicationReplication에 대한 통계 확인pg_stat_wal_receiverWAL Receiver에 대한 통계 확인pg_replication_slotsReplication Slot에 대한 정보 확인pg_stat_replication_slots[Since. v14] Replication Slot에 대한 통계 확인pg_publicationLogical Replication의 Publication에 대한 정보 확인pg_publication_relRelation과 Publication간의 매핑정보 확인pg_publication_table.. 2023. 6. 29.
DB 인사이드 | PostgreSQL Replication - Function 이번 문서에서는 PostgreSQL Replication과 관련된 Function에 대해 알아보겠습니다. Function ListWAL 관련 Functionpg_current_wal_lsnpg_current_wal_flush_lsnpg_current_wal_insert_lsnpg_walfile_namepg_walfile_name_offsetpg_switch_walpg_wal_lsn_diff  Standby Server 관련 Functionpg_is_in_recoverypg_last_wal_receive_lsnpg_last_wal_replay_lsnpg_last_xact_replay_timestamppg_get_wal_replay_pause_statepg_is_wal_replay_pausedpg_wal_r.. 2023. 6. 29.
엑셈이 만든 풀스택 모니터링 SaaS 솔루션, ‘데이터세이커’ 출시 엑셈에서 매(Saker) 한 마리를 띄웠습니다. 신속하고 정확하게 고객이 원하는 결과를 사냥해줄 신제품 ‘데이터세이커(DataSaker)’가 6월 26일 공식 출시되었습니다. AWS와 함께 홍보를 진행한 데이터세이커는 매체에 정식 기사화되고, 동시에 홈페이지에 오픈하면서 그 무게감과 기대감을 가지고 출발합니다. 뭘 좋아할지 몰라서 다 준비했습니다 온프레미스에서 맥스게이지와 인터맥스를 대 히트시킨 엑셈의 이번 행보는 SaaS 모니터링입니다! 클라우드 시대 온프레미스 및 클라우드를 아우르는 전체 관점의 모니터링이 필수이듯, 데이터세이커는 인프라와 DB, 애플리케이션은 물론 쿠버네티스, 도커, 컨테이너 로그까지 시스템의 전체적인 관점에서 풀스택 모니터링 및 통합 가시성을 제공하는 SaaS 플랫폼입니다. 하나의.. 2023. 6. 29.
DB 인사이드 | PostgreSQL Replication - Trouble Shooting 📢 본 문서는 PostgreSQL Replication 설정 시 발생할 수 있는 내용을 다룹니다. PostgreSQL Replication 구성에 대한 내용은 PostgreSQL Replication - 구성을 참조하세요.1. ssh-keygen 설정 2. listen_addresses 설정하지 않았을 경우3. pg_hba.conf 설정하지 않았을 경우 4. max_wal_senders를 1 이하로 설정했을 경우 5. hot_standby 설정 6. Replication User 접속 불가 7. PostgreSQL Database Encoding/locale 옵션이 다른 경우 8. recovery.conf 9. postgresql.conf 위치 확인 10. pg_hba.conf 위치 확인 11. Onl.. 2023. 5. 25.
DB 인사이드 | PostgreSQL Replication - 구성 시작하며본 문서에서는 앞서 설명한 다양한 Replication 방식의 설정에 대해 알아보도록 하겠습니다.이 중 가장 많이 언급되는 Log Shipping, Streaming, Logical Replication방식으로 환경 구성을 진행하며, 그 과정에서 직접적인 연관이 없거나 발생 가능한 이슈에 대해서는 별도 문서인 PostgreSQL Replication - Trouble Shooting을 통해 다루도록 하겠습니다.구성을 위한 환경은 다음과 같으며, Replication Slot 관련 설정은 포함되지 않습니다.CaseReplication 방법Main Server (10.10.45.230)Standby Server (10.10.45.231)1Log ShippingCentOS 7.9 / PostgreSQL.. 2023. 5. 25.
Chapter 3-6. 차원 축소 Chapter 3-6. 차원 축소 머신러닝에 대해 공부하다 보면 차원의 저주 (Curse of Dimension) 라는 이야기를 종종 보게 될 것이다. 본 챕터에서는 "차원의 저주" 란 무엇인지 설명하고, 이 문제를 해결하기 위한 차원 축소 기법에 대해서 알아보도록 하자. 차원의 저주 (Curse of Dimension) 현실 세계에서 우리가 다루게 될 데이터는 굉장히 다양하고 많은 특성들을 가지고 있다. 예를 들어, "영화"라는 데이터를 예시로 설명하자면, "영화"라는 데이터를 나타내기 위한 특성으로는 영화의 제목, 개봉 시기, 장르, 감독, 배우, 예산, 시리즈 유무, 평점, 누적 관객 수, 수익 등 수 많은 특성들이 존재한다. 데이터 특성의 수가 많다라는 것은 머신러닝 학습 시 훈련 시간의 증가와 .. 2023. 5. 25.

티스토리툴바