본문 바로가기
Chapter 1. 기초 선형대수 및 통계학 : Time Series 머신러닝을 위한 Python 필수 라이브러리 Time Series 머신러닝을 위한 기초 선형대수 및 통계학 머신러닝과 딥러닝 공부를 시작하고 싶은 분들을 위해, 여러 분야 중 시계열 데이터를 활용한 데이터 처리 및 머신러닝, 딥러닝 알고리즘을 소개하고자 한다. 이는 엑셈의 AI 기반 IT 운영 지능화 솔루션인 XAIOps의 알고리즘 모델들에 대해 이해할 수 있는 첫 걸음이기도 하다. 학습이 모두 끝난 후에는 머신러닝과 딥러닝이 무엇이며, XAIOps의 알고리즘들이 어떤 방식으로 모델링 되는지에 대한 기초적 이해에 도움이 될 것이다. 이에 앞서 데이터 처리 및 AI 알고리즘을 이해하기 위해 사전 지식으로 요구되는 기초 선형대수 및 통계학에 대해 알아보자. 우리는 왜 행렬을 공부해야 할까? 많은 양의 데이터(행렬) 구조를 변환할 때, 알고리즘(모델)의.. 2022. 6. 27.
PHILINNOVATOR | 2차 인지혁명, 인간을 넘어선 기계 #2 나 그리고 당신을 위한 ‘초연결 시대의 현자 되기’ 프로젝트! 21세기 혼란스러운 초연결 사회에서 중심을 잡고 지혜롭게 살아가기 위한 내용들을 담아 돌아온 ‘필리노베이터’입니다. 이번 달에는 ‘2차 인지혁명, 인간을 넘어선 기계 1편’에 이어, ‘인간을 넘어선 기계 2편, 막스 테그마크의 『라이프3.0』으로 이어가 보겠습니다. 현재 우리 인간은 지능이 생명체 만이 가질 수 있는 고유한 것이라는 통념이 깨진, 물질이 지능을 얻고, 지능을 통해 물질이 문제를 해결하는 시대에 살고 있습니다. 우리 인간(라이프2.0)은 초기 생명체(라이프1.0)에서 진화를 거듭한 끝에 소프트웨어(지능, 인지)를 하늘로부터 부여받아 수만 년에 걸쳐 인지혁명과 농업혁명, 과학혁명 그리고 산업혁명을 거치며 문명의 꽃을 피워 왔습니다.. 2022. 5. 25.
엑셈 인사이트 | EBIGS, 빅데이터 시스템을 위한 엑셈의 제안 빅데이터 시스템 구축 기업 환경에서 데이터의 중요성을 논하는 것은 더 이상 논란 거리가 아니다. 최근에는 데이터를 더욱 빠르고 효율적으로 수집 및 저장, 분석, 시각화하여 데이터 기반의 의사결정이 이루어지도록 하는 방법에 대한 논의가 주를 이루고 있다. 분석 또는 저장해야 하는 데이터의 양이 Giga 단위를 넘어 Tera, Peta 단위에 이른다면 기존의 DBMS와 같은 시스템으로 데이터를 저장, 분석하는 것에 어려움을 느낄 것이다. 이런 이유로 각 기업에서는 빅데이터 시스템을 구축하여 데이터 중심의 경영을 하고 있거나 또는 하고자 한다. 하지만 빅데이터 시스템을 구축 ∙ 운영하기 위한 전문가를 보유하고 있는 기업은 그리 많지 않을 것이다. 전문인력이 없으니 기업 상황에 맞는 적절한 빅데이터 시스템을 구.. 2022. 5. 25.
DB 인사이드 | PostgreSQL Vacuum - 6. Autovacuum 📢 Manual Vacuum에 이어, 본 문서 역시 ①Autovacuum이 무엇인지 알아보고, ②Autovacuum의 동작 조건 및 ③Autovacuum 프로세스에 의해 수행되는 Anti-Wraparound Vacuum에 대해 알아보도록 하겠습니다. 마지막으로 ④Autovacuum 전체 프로세스에 대해 확인해보도록 하겠습니다.AutovacuumAutovacuum이란 Vacuum수행을 자동화해주는 기능을 이야기합니다. Autovacuum기능은 Autovacuum Daemon이라고 불리는 여러 개의 프로세스들에 의해 수행되며, 이 중 Autovacuum Launcher 프로세스는 Worker 프로세스를 관리하고 지시하는 역할을 수행합니다.Autovacuum이 동작하기 위해서는 AUTOVACUUM, TRAC.. 2022. 4. 29.
DB 인사이드 | PostgreSQL Vacuum - 5. Manual Vacuum 📢 본 문서에서는 ①Vacuum의 목적과 ②Vacuum 동작 Mode에 대해 먼저 알아보도록 하겠습니다. 이후 조금은 특별하게 동작하는 ③Vacuum Freeze의 동작원리를 설명한 후 마지막으로 ④전체적인 Vacuum 수행 프로세스에 대해 알아보도록 하겠습니다. 더불어 지난 문서들을 통해 소개되었던 개념들이 모두 혼용되어 사용되는 만큼, 충분한 이해를 바탕으로 읽기를 추천합니다.Manual VacuumVacuum 이란?진공청소기라는 뜻을 지닌 Vacuum은 PostgreSQL에만 존재하는 특수한 개념입니다. 앞선 문서에서 강조했다시피 MVCC 동작원리에 따른 공간 비효율과 XID Wraparound발생 등 PostgreSQL의 특성에 기인한 부작용을 회피하기 위해 등장했습니다.Vacuum은 명령어 조.. 2022. 4. 29.
DB 인사이드 | PostgreSQL Vacuum - 4. Visibility Map 📢 본 문서에서는 Visibility Map (이하 VM)이라는 메타 파일에 대한 내용을 다룹니다. 우선 Vacuum의 기준정보로 활용하는 ①VM File이란 무엇인지 알아보고, ②사용자 조작에 따라 어떻게 변경되며, 어떻게 관찰할 수 있는지 알아보도록 하겠습니다.Visibility MapVM File이란?VM이란 Heap Relation(*테이블)을 구성하는 개별 페이지의 상태를 2개의 Bit값으로 표현하는 메타정보 파일이며 페이지가 포함하는 Tuple(Row)들의 상태 정보를 축약해서 담고 있습니다.VM 파일은 Relation OID에 해당하는 숫자에 접미어 "_vm"을 붙인 형태로 관리되며 사용자가 VACUUM 또는 VACUUM FREEZE와 같은 명시적인 Vacuum작업을 수행하거나 Autova.. 2022. 4. 29.
DB 인사이드 | PostgreSQL Vacuum - 3. Age 📢 본 문서에서는 XID의 연장선상에 있는 Age에 대해 알아보도록 하겠습니다. ①Age의 개념과 도입 배경을 우선 확인한 후, ②Table 및 Row에서 사용되는 Age의 의미와 차이점에 대해 알아보도록 하겠습니다.Age 란?Age = Current XID - 생성시점의 XID앞서 Data Freezing과정을 설명하며 “Current XID - 생성(입력) 시점의 XID” 값이 21억을 초과하기 전에 Frozen XID로 변경돼야 XID Wraparound 상황을 피할 수 있다고 이야기했습니다.이처럼 Data Freezing 대상을 선정하기 위해서는 XID값 그 자체보다는 입력(생성) 후 얼마나 오래되었는지 측정할 방법이 필요해졌으며 이를 위한 개념으로 Age가 도입되었습니다.Age의 특징은 다음과.. 2022. 4. 29.
DB 인사이드 | PostgreSQL Vacuum - 2. Transaction ID 📢 본 문서에서는 MVCC 모델을 통해 소개한 Transaction ID(이하 XID)에 대해 자세히 알아보도록 하겠습니다. 우선 ①XID의 정의와 용도를 확인하고, ②부족한 XID를 극복하기 위해 PostgreSQL이 선택한 방법을 알아보도록 하겠습니다.Transaction IDXID 란?우리는 미래에 일어날 사건에 대해 알지 못하지만 과거에 일어났던 사건들은 충분히 알 수 있습니다. 현실이 아닌 DBMS에서 일어나는 일련의 사건들을 트랜잭션이라고 부르며, 트랜잭션이 발생한 시점을 식별하기 위한 정보로 XID가 사용됩니다. 즉, XID란 일종의 시간 정보로 이해할 수 있습니다.XID는 트랜잭션이 일어날 때마다 하나씩 증가하며, MVCC모델의 구현 및 읽기 일관성을 위해 사용됩니다.XID 사용용도트랜잭.. 2022. 4. 29.
DB 인사이드 | PostgreSQL Vacuum - 1. MVCC 📢 Vacuum Series의 첫 시작으로, PostgreSQL의 MVCC모델에 대해 알아보도록 하겠습니다. 본 문서에서는 ①MVCC동작 방식 및 예제를 설명한 후 ②해당 모델로 인해 발생 가능한 문제점들을 알아보도록 하겠습니다.MVCC 동작 방식MVCC 란?MVCC(Multi Version Concurrency Control)란 “다중 버전 동시성 제어”의 줄임 말로, 과거부터 현재까지의 다양한 버전 데이터들에 대한 관리와 제공이 가능한지를 나타내는 DBMS 필수 기능 중 하나입니다. 즉 시시각각 변하고 있는 데이터 중 사용자가 조회를 시작한 시점의 정확한 데이터를 제공받을 수 있는지를 나타내는 것으로, 그 구현 방법은 각각의 DBMS마다 다르지만 목적만은 모두 동일하다고 할 수 있습니다.Postgr.. 2022. 4. 29.

티스토리툴바