본문 바로가기
DB 인사이드 | PostgreSQL Vacuum - 4. Visibility Map 📢 본 문서에서는 Visibility Map (이하 VM)이라는 메타 파일에 대한 내용을 다룹니다. 우선 Vacuum의 기준정보로 활용하는 ①VM File이란 무엇인지 알아보고, ②사용자 조작에 따라 어떻게 변경되며, 어떻게 관찰할 수 있는지 알아보도록 하겠습니다. Visibility Map VM File이란? VM이란 Heap Relation(*테이블)을 구성하는 개별 페이지의 상태를 2개의 Bit값으로 표현하는 메타정보 파일이며 페이지가 포함하는 Tuple(Row)들의 상태 정보를 축약해서 담고 있습니다. VM 파일은 Relation OID에 해당하는 숫자에 접미어 "_vm"을 붙인 형태로 관리되며 사용자가 VACUUM 또는 VACUUM FREEZE와 같은 명시적인 Vacuum작업을 수행하거나 Aut.. 2022. 4. 29.
DB 인사이드 | PostgreSQL Vacuum - 3. Age 📢 본 문서에서는 XID의 연장선상에 있는 Age에 대해 알아보도록 하겠습니다. ①Age의 개념과 도입 배경을 우선 확인한 후, ②Table 및 Row에서 사용되는 Age의 의미와 차이점에 대해 알아보도록 하겠습니다. Age 란? Age = Current XID - 생성시점의 XID 앞서 Data Freezing과정을 설명하며 “Current XID - 생성(입력) 시점의 XID” 값이 21억을 초과하기 전에 Frozen XID로 변경돼야 XID Wraparound 상황을 피할 수 있다고 이야기했습니다. 이처럼 Data Freezing 대상을 선정하기 위해서는 XID값 그 자체보다는 입력(생성) 후 얼마나 오래되었는지 측정할 방법이 필요해졌으며 이를 위한 개념으로 Age가 도입되었습니다. Age의 특징은.. 2022. 4. 29.
DB 인사이드 | PostgreSQL Vacuum - 2. Transaction ID 📢 본 문서에서는 MVCC 모델을 통해 소개한 Transaction ID(이하 XID)에 대해 자세히 알아보도록 하겠습니다. 우선 ①XID의 정의와 용도를 확인하고, ②부족한 XID를 극복하기 위해 PostgreSQL이 선택한 방법을 알아보도록 하겠습니다. Transaction ID XID 란? 우리는 미래에 일어날 사건에 대해 알지 못하지만 과거에 일어났던 사건들은 충분히 알 수 있습니다. 현실이 아닌 DBMS에서 일어나는 일련의 사건들을 트랜잭션이라고 부르며, 트랜잭션이 발생한 시점을 식별하기 위한 정보로 XID가 사용됩니다. 즉, XID란 일종의 시간 정보로 이해할 수 있습니다. XID는 트랜잭션이 일어날 때마다 하나씩 증가하며, MVCC모델의 구현 및 읽기 일관성을 위해 사용됩니다. XID 사용용.. 2022. 4. 29.
DB 인사이드 | PostgreSQL Vacuum - 1. MVCC 📢 Vacuum Series의 첫 시작으로, PostgreSQL의 MVCC모델에 대해 알아보도록 하겠습니다. 본 문서에서는 ①MVCC동작 방식 및 예제를 설명한 후 ②해당 모델로 인해 발생 가능한 문제점들을 알아보도록 하겠습니다. MVCC 동작 방식 MVCC 란? MVCC(Multi Version Concurrency Control)란 “다중 버전 동시성 제어”의 줄임 말로, 과거부터 현재까지의 다양한 버전 데이터들에 대한 관리와 제공이 가능한지를 나타내는 DBMS 필수 기능 중 하나입니다. 즉 시시각각 변하고 있는 데이터 중 사용자가 조회를 시작한 시점의 정확한 데이터를 제공받을 수 있는지를 나타내는 것으로, 그 구현 방법은 각각의 DBMS마다 다르지만 목적만은 모두 동일하다고 할 수 있습니다. Pos.. 2022. 4. 29.
DB 인사이드 | PostgreSQL Architecture - 4. 동작 원리 본 문서에서는 PostgreSQL Architecture 전반에서 다룬 내용을 바탕으로 커넥션 생성 및 사용자요청처리, 백그라운드 Process의 동작 방식 등에 대한 내용을 다루겠습니다. 커넥션 생성 과정 우선 사용자가 PostgreSQL과 커넥션을 맺고 요청을 처리/회신하는 과정을 확인해보겠습니다. 1. postmaster 프로세스는 Listener 역할을 하며 Client로부터 새로운 연결 요청을 기다립니다. 2. postmaster 프로세스는 새로운 Client 연결 요청에 대한 인증을 하고 postgres 프로세스를 생성합니다. 이때 각각의 프로세스에는 work_mem 같은 Local Memory가 개별 할당됩니다. 3. postgres 프로세스가 Client와 연결되면 postmaster 프로.. 2022. 4. 27.
DB 인사이드 | PostgreSQL Architecture - 2. Physical Structure Physical Structure 본 문서에서는 Data 파일, Engine Log 파일, Configuration 파일 등 PostgreSQL이 관리하는 다양한 파일과 디렉토리에 대한 내용을 다루도록 하겠습니다. 해당 파일 및 디렉토리들은 PGDATA라고 하는 Database Cluster의 data 디렉토리에 위치하고 있습니다. PGDATA의 일반적인 위치는 /var/lib/pgsql/13/data 이며 해당 경로는 설치 방법에 따라 변경 수 있습니다. 📌 Database 및 Cluster 등에 관한 내용은 Logical Structure 내용을 참조바랍니다. Data Directory 구조(PGDATA) 일반적으로 Database Cluster의 구성요소는 data 디렉토리 하위에 위치하고 있습니다.. 2022. 4. 27.
DB 인사이드 | PostgreSQL Architecture - 5. SQL 처리 과정 PostgreSQL SQL 처리과정 본 문서에서는 PostgreSQL의 SQL처리과정에 대해 알아보도록 하겠습니다. postgres 프로세스는 Client로부터 SQL(Query string)을 전달받으면 아래와 같은 5개의 과정을 거쳐 SQL을 처리하며 그 결과를 Client로 반환합니다. 각 과정에서는 문법체크 및 의미분석, 최적화 작업 등을 수행하며, 세부적인 내용을 각각 확인해 보도록 하겠습니다. Parser Parsing 단계는 SQL 처리과정의 첫번째 단계로 Query 구문을 분석하여 Syntax Error를 체크하고 Parse Tree를 생성합니다. 해당 단계에서는 System Catalog를 참조하지 않기 때문에 개별 요소들에 대한 의미분석(Semantic)이 불가하며 단순한 문법체크(Sy.. 2022. 4. 27.
DB 인사이드 | PostgreSQL Architecture - 3. Logical Structure Logical Structure 앞서 Physical Structure를 통해 공간 및 파일 관점에서의 PostgreSQL 구성요소를 확인했습니다. 본 문서에서는 사용자 입장에서 실제 관리 대상인 Object, Schema, Database, Tablespace 및 Cluster에 대해 알아보겠습니다. 아래는 PostgreSQL의 Logical Structure를 도식화한 것으로 Object로 표현한 가장 하위개념 부터 최상위 요소인 Cluster에 대해 순서대로 알아보도록 하겠습니다. Object Object는 Data를 저장하거나 참조하는데 사용되는 데이터 구조를 말합니다. 우리에게 익숙한 테이블(Table), 인덱스(Index), 프로시저(Stored Procedure), 시퀀스(Sequence),.. 2022. 4. 27.
엑셈 인사이트 | E2E 거래 추적 모니터링의 필요성 APM의 한계 과거 Web 환경의 기간계 주요 업무는 WAS Instance 내에서 복잡한 비즈니스 로직을 전반적으로 수행했기 때문에, 특정 WAS 구간을 집중적으로 모니터링/분석 하는 것이 효과적일 수 있었다. 하지만 현재의 MSA(Micro Service Architecture) 지향 환경에서는 비즈니스 로직이 컴포넌트 별로 나누어져 작은 서비스로 구축된다. 따라서 컴포넌트 서비스의 상호 연계 분석이 원활하지 않으면 Application 장애 대응이 기본적으로 힘들 수 있다. 또한 하나의 특정 업무(서비스)는 N-Tier(채널, MCI, 기간계, EAI, FEP)로 구성된 복잡한 서비스 환경에서 수행된다. 이런 환경에서 기존의 APM 관점으로 WAS와 같은 특정 구간 위주로 모니터링을 할 경우, 실제.. 2022. 4. 27.

티스토리툴바