본문 바로가기
DB 인사이드 | PostgreSQL Replication - Function 이번 문서에서는 PostgreSQL Replication과 관련된 Function에 대해 알아보겠습니다. Function List WAL 관련 Function pg_current_wal_lsn pg_current_wal_flush_lsn pg_current_wal_insert_lsn pg_walfile_name pg_walfile_name_offset pg_switch_wal pg_wal_lsn_diff Standby Server 관련 Function pg_is_in_recovery pg_last_wal_receive_lsn pg_last_wal_replay_lsn pg_last_xact_replay_timestamp pg_get_wal_replay_pause_state pg_is_wal_replay_p.. 2023. 6. 29.
엑셈이 만든 풀스택 모니터링 SaaS 솔루션, ‘데이터세이커’ 출시 엑셈에서 매(Saker) 한 마리를 띄웠습니다. 신속하고 정확하게 고객이 원하는 결과를 사냥해줄 신제품 ‘데이터세이커(DataSaker)’가 6월 26일 공식 출시되었습니다. AWS와 함께 홍보를 진행한 데이터세이커는 매체에 정식 기사화되고, 동시에 홈페이지에 오픈하면서 그 무게감과 기대감을 가지고 출발합니다. 뭘 좋아할지 몰라서 다 준비했습니다 온프레미스에서 맥스게이지와 인터맥스를 대 히트시킨 엑셈의 이번 행보는 SaaS 모니터링입니다! 클라우드 시대 온프레미스 및 클라우드를 아우르는 전체 관점의 모니터링이 필수이듯, 데이터세이커는 인프라와 DB, 애플리케이션은 물론 쿠버네티스, 도커, 컨테이너 로그까지 시스템의 전체적인 관점에서 풀스택 모니터링 및 통합 가시성을 제공하는 SaaS 플랫폼입니다. 하나의.. 2023. 6. 29.
DB 인사이드 | PostgreSQL Replication - Trouble Shooting 📢 본 문서는 PostgreSQL Replication 설정 시 발생할 수 있는 내용을 다룹니다. PostgreSQL Replication 구성에 대한 내용은 PostgreSQL Replication - 구성을 참조하세요. 1. ssh-keygen 설정 2. listen_addresses 설정하지 않았을 경우 3. pg_hba.conf 설정하지 않았을 경우 4. max_wal_senders를 1 이하로 설정했을 경우 5. hot_standby 설정 6. Replication User 접속 불가 7. PostgreSQL Database Encoding/locale 옵션이 다른 경우 8. recovery.conf 9. postgresql.conf 위치 확인 10. pg_hba.conf 위치 확인 11. On.. 2023. 5. 25.
DB 인사이드 | PostgreSQL Replication - 구성 시작하며 본 문서에서는 앞서 설명한 다양한 Replication 방식의 설정에 대해 알아보도록 하겠습니다. 이 중 가장 많이 언급되는 Log Shipping, Streaming, Logical Replication방식으로 환경 구성을 진행하며, 그 과정에서 직접적인 연관이 없거나 발생 가능한 이슈에 대해서는 별도 문서인 PostgreSQL Replication - Trouble Shooting을 통해 다루도록 하겠습니다. 구성을 위한 환경은 다음과 같으며, Replication Slot 관련 설정은 포함되지 않습니다. Case Replication 방법 Main Server (10.10.45.230) Standby Server (10.10.45.231) 1 Log Shipping CentOS 7.9 / .. 2023. 5. 25.
Chapter 3-6. 차원 축소 Chapter 3-6. 차원 축소 머신러닝에 대해 공부하다 보면 차원의 저주 (Curse of Dimension) 라는 이야기를 종종 보게 될 것이다. 본 챕터에서는 "차원의 저주" 란 무엇인지 설명하고, 이 문제를 해결하기 위한 차원 축소 기법에 대해서 알아보도록 하자. 차원의 저주 (Curse of Dimension) 현실 세계에서 우리가 다루게 될 데이터는 굉장히 다양하고 많은 특성들을 가지고 있다. 예를 들어, "영화"라는 데이터를 예시로 설명하자면, "영화"라는 데이터를 나타내기 위한 특성으로는 영화의 제목, 개봉 시기, 장르, 감독, 배우, 예산, 시리즈 유무, 평점, 누적 관객 수, 수익 등 수 많은 특성들이 존재한다. 데이터 특성의 수가 많다라는 것은 머신러닝 학습 시 훈련 시간의 증가와 .. 2023. 5. 25.
DataSaker 비하인드 스토리 | 이름과 로고가 궁금해! 지난 달에 DataSaker(데이터세이커) 출시 임박 소식이 전해졌죠. 데이터세이커라는 이름만으로도 궁금증을 자아내며, 엑셈 최초 SaaS 솔루션이 어떻게 표현되었을지 모두 기대하는 반응입니다. 많은 분들이 문의 주셨습니다. DataSaker는 왜 데이터세이커인가요? 그 의미를 알아보기에 앞서 이 솔루션명이 탄생된 배경에 대해 알아볼게요. 데이터세이커의 태명 'Sam' 사실 데이터세이커라는 이름이 생기기 전에 개발팀에서 불리던 이름이 있었어요. 2022년 초 개발을 진행해야 하는데 그냥 SaaS 서비스라고 부르는 것은 어색했습니다. 어떤 시인의 시 구절처럼 하나의 몸짓이 아닌 꽃이 되기 위해서는 이름이 필요했습니다. 마침 이 시점에 개발본부 전체적으로 진행한 Agile Work Shop이 있었습니다. S.. 2023. 5. 25.
이.빅.스 | 기하급수적으로 수집되는 많은 양의 데이터는 어떻게 처리해야 할까? 안녕하세요. 네 번째 이.빅.스 입니다. HDFS, Amazon S3, Google Cloud Storage 등 다양한 스토리지가 발전하면서 정형 데이터는 물론 비정형 데이터까지 대량으로 수용할 수 있게 되었고, 많은 기업들이 이런 스토리지들을 활용하여 방대한 양의 데이터를 수집하고 데이터 레이크를 만들고 있습니다. 이번 달에는 이러한 대용량 데이터 레이크를 쿼리할 수 있는 쿼리 엔진인 Trino를 소개합니다. Trino는 하나 이상의 다양한 데이터 소스에 분산된 대규모 데이터 세트를 효율적으로 쿼리하도록 설계된 오픈 소스의 분산 SQL 쿼리 엔진입니다. Hive나 Pig처럼 MapReduce 작업의 파이프라인을 사용해 HDFS를 쿼리하는 도구의 대안으로 설계되었으나, 점차 확장되어 관계형 데이터베이스나.. 2023. 5. 25.
Chapter 3-5. 서포트 벡터 머신 (Support Vector Machine) Chapter 3-5. 서포트 벡터 머신 (Support Vector Machine) 서포트 벡터 머신은 선형/비선형 분류, 회귀, 이상치 탐색 등에 사용할 수 있는 다목적 머신러닝 모델이다. 분류 문제에 많이 쓰이며, 중간 크기의 데이터셋에 적합한 모델이다. 지금부터 서포트 벡터 머신의 이론에 대해 알아보고 실습을 통해 분류 및 회귀에서 어떻게 사용하는지 알아보자. SVM의 아이디어와 자세한 수식 및 원리에 대해 분류 모델을 중심으로 먼저 알아보고, 회귀 모델의 원리에 대해 공부해보자. SVM의 기본 개념은 그림 1 와 같이 두 샘플 사이에 선을 그어, 그 선의 폭이 최대가 되도록 하여 두 샘플을 구분한다. 조금 더 자세히 설명하자면, 샘플이 특성을 정의하는 n 개의 변수들로 표현된다고 할 때, 샘플들.. 2023. 4. 27.
DB 인사이드 | PostgreSQL Replication - 종류 Replication은 Data 저장과 백업하는 방법과 관련이 있는 Data를 호스트 컴퓨터에서 다른 컴퓨터로 복사하는 것을 말한다. Replication은 RDBMS에서 추가적으로 제공하거나 여러 대의 Database Server의 부하를 맞추어 줄 용도로 제공한다. Database Replication에서 사용되는 것은 대부분 Database 관리 영역인데 보통 Master/Slave 관계를 갖는 원본과 복사본 사이를 다룬다. — 위키백과 (Replication) Database Replication Database를 Replication(복제)하는 이유는 크게 Database의 부하분산(Load Balancing), 고가용성(High Availability), 백업등으로 나눌 수 있습니다. Main.. 2023. 4. 27.