본문 바로가기
exemONE 로고 스토리 전 세계가 풀 스택 옵저버빌리티(Full-stack Observability)에 환호하고 있습니다. 영화 듄(링크) 홍보차 내한한 티모시 샬라메의 인기처럼요. 아무튼! 풀 스택 옵저버빌리티는 시간이 지나며 늘어가는 우리의 고민처럼 복잡/다양해진 데이터를 효율적으로 관리하고자 하는 의지의 표현입니다. IT 시스템과 애플리케이션의 모든 계층에서 한 방에, 전체적으로, 통합된 인사이트를 얻고자 하는 현대 IT의 필수품, 풀 스택 옵저버빌리티 솔루션이 엑셈에도 곧 등장합니다. 4월이면, 엑셈에서 All-in-One 풀 스택 통합 모니터링 솔루션이 나옵니다. 전통적으로 각광받아 온 온프레미스 시스템 모니터링은 개별 영역에 중점을 둔 모니터링 도구가 각각의 영역에 특화된 기능을 제공해왔습니다. 데이터베이스와 애플리.. 2024. 2. 29.
Chapter 4-6. AutoEncoder(2) 다양한 AutoEncoder 지난 챕터에서는 오토인코더의 개념과 가장 기본적인 형태인 적층형 오토인코더에 대해 알아보았다. 이 외에도 다양한 형태의 오토인코더가 존재한다. 이번 장에서는 몇 가지 인기있는 오토인코더에 대해 다루어본다. Robust 오토인코더 Robust 오토인코더는 Robust PCA와 오토인코더가 결합된 오토인코더이다. 오토인코더는 이상이 포함된 데이터를 포함하여 학습시킬 경우 이상의 형태까지 학습될 수 있다. Robust 오토인코더는 이러한 문제점을 해결하기 위해 제안되었다. Robust 오토인코더를 이해하기 위해 먼저 Robust PCA에 대해 알아보자. 기존 PCA 방법은 이상치에 매우 민감하였다. 아래의 그림을 보자. 그림에서 파란 데이터는 정상 데이터를 붉은 데이터는 이상치를 .. 2024. 1. 25.
통합 모니터링 솔루션의 필요성과 exemONE IT 인프라 관리 및 모니터링 분야는 최근 몇 년 동안 큰 변화를 겪고 있습니다. 전통적으로 온프레미스 시스템 모니터링은 웹 애플리케이션 서버(WAS), 데이터베이스, 네트워크, 운영체제(OS) 등 개별적인 영역에 중점을 둔 제품군 기반이었습니다. 각 모니터링 도구는 각각의 영역에 특화된 기능을 제공했으며, 이 접근 방식은 특정 시스템에 대한 깊이 있는 분석과 세밀한 관리를 가능하게 했습니다.그러나 시간이 지나며 기술 환경의 변화는 전통적인 모니터링 분야에도 영향을 미쳤습니다. 이로 인해 새로운 도전과 과제가 생겨났으며, 기존의 모니터링 방식을 재검토하고 새로운 환경에 적응해야 하는 필요성이 대두되었습니다. 이러한 변화는 IT 모니터링 분야에 보다 진보적인 접근을 요구하며, 새로운 기술과 방법.. 2024. 1. 25.
궁금하면 드루와요 | Druid without Middle Manager Part.5 Druid without Middle Manager (MM less): k8s 리소스(파드)를 사용한 드루이드 태스크 관리 개선 Part.1 Apache Druid란(링크) Part.2 Druid Operator: 드루이드 오퍼레이터 도입으로 드루이드 설치부터 관리까지의 과정 개선 (링크) Part.3 Druid Tuning: 제한된 자원속에서 카프카 스트림으로부터 데이터 수집하는 기능(성능)의 최적화(링크) Part.4 Druid Tiering: 데이터가 조회되는 빈도 기준으로 데이터를 구분 (링크) Part.5 Druid without Middle Manager (MM less): k8s 리소스(파드)를 사용한 드루이드 태스크 관리 개선 이번 글에서는 Apache Druid Middle .. 2024. 1. 25.
DB 인사이드 | PostgreSQL 16 Release - New Feature (3) 이번 문서에서는 PostgreSQL 16 Release New Feature 중 Replication에 대한 내용을 다룹니다. Logical Replication From Standby ServerPostgreSQL 15 버전까지는 Primary Server에서만 Logical Replication의 게시(Publication)을 구성할 수 있었습니다. Replication이 다중으로 구성되어 있다면 그 만큼 Primary Server의 부하도 증가합니다.PostgreSQL 16 버전부터는 Standby Server에서 게시(Publication)을 구성할 수 있습니다. 이 기능을 통해 Primary Server의 Replication 부하를 감소 시킬 수 있습니다.📢 Primary → Physical.. 2023. 12. 27.
궁금하면 드루와요 | Druid Tiering Part.4 Druid Tiering: 데이터가 조회되는 빈도 기준으로 데이터를 구분 Part.1 Apache Druid란(링크) Part.2 Druid Operator: 드루이드 오퍼레이터 도입으로 드루이드 설치부터 관리까지의 과정 개선 (링크) Part.3 Druid Tuning: 제한된 자원속에서 카프카 스트림으로부터 데이터 수집하는 기능(성능)의 최적화(링크) Part.4 Druid Tiering: 데이터가 조회되는 빈도 기준으로 데이터를 구분 Part.5 Druid without Middle Manager (MM less): k8s 리소스(파드)를 사용한 드루이드 태스크 관리 개선 이번 글에서는 Apache Druid의 티어링 시스템과 필요성을 알아보고, Druid에서 데이터 티어링을 설정하는 .. 2023. 12. 27.
Chapter 4-5. AutoEncoder 오토인코더란? 오토인코더는 데이터의 압축을 통해 특성을 학습하는 비지도 방법의 인공 신경망이다. 오토 인코더의 목적은 고차원 데이터를 저차원으로 압축하여 데이터의 중요한 특성을 찾는 것이다. 오토인코더는 3가지 부분으로 이루어진다. 먼저, 인코더는 입력 데이터를 작은 차원으로 압축하는 부분이다. 이어지는 바틀넥 부분은 압축된 정보를 담고 있는 영역으로 오토인코더 알고리즘의 핵심에 해당한다. 이 부분을 잠재(latent) 영역, 혹은 코딩(coding) 영역이라고도 부른다. 마지막 디코더 부분은 압축되었던 데이터를 다시 입력형태와 동일하도록 변형하는 부분이다. 신경망의 핵심인 바틀넥 부분에 대해 조금 더 이야기하겠다. 바틀넥은 통과하는 정보의 양을 제한하기 위해 존재한다. 아키텍처를 보면 바틀넥의 크기가 .. 2023. 12. 27.
DB 인사이드 | PostgreSQL 16 Release - New Feature (2) 이번 문서에서는 앞서 나열된 PostgreSQL 16 Release의 주요 변경내용 중 일부를 테스트한 내용을 기술합니다.  [성능 개선] FULL OUTER JOIN 및 RIGHT OUTER JOIN의 병렬 처리PostgreSQL 16 버전부터 FULL OUTER JOIN 및 RIGHT OUTER JOIN의 병렬 처리를 지원함에 따라 Query Planner가 기존 버전 보다 더 효율적인 실행계획을 수립할 수 있습니다.📢 병렬 처리는 enable_parallel_hash 파라미터로 제어할 수 있습니다. -- PostgreSQL 15 버전EXPLAIN (COSTS OFF)SELECT COUNT(*) FROM repltab a FULL OUTER JOIN repltab b USING (c1); .. 2023. 11. 30.
DB 인사이드 | PostgreSQL 16 Release - New Feature (1) 2023년 9월 14일 PostgreSQL Global Development Group은 최신 버전의 PostgreSQL 16을 출시하였습니다. PostgreSQL 16의 주요 기능은 아래와 같습니다.📢 PostgreSQL 릴리즈 현황은 DB 인사이드 | PostgreSQL Setup - Version & Utility에서 확인할 수 있습니다.  성능개선새로운 Query Planner 최적화로 PostgreSQL 기능의 성능 향상FULL OUTER JOIN 및 RIGHT OUTER JOIN의 병렬 처리 가능집계 함수(ex. string_agg, array_agg) 사용 시 DISTINCT 또는 ORDER BY와 함께 사용할 경우, 쿼리에 대한 더 최적화된 실행 계획 생성enable_presorted_a.. 2023. 11. 30.

티스토리툴바