본문 바로가기
복잡한 인프라 구성없이 시작하는 AI 분석 플랫폼, 우드페커 요즘 IT 산업 분야 메가 트렌드는 ‘AI(인공지능)’입니다. 사람의 리소스를 최소한으로 투입하면서 미래를 예측하여 비즈니스 성공을 이끌어내기 위해서라도 AI의 도움은 필수가 되었는데요. AI를 빼고 이젠 IT 산업을 이야기하기 어렵게 되었음에도 많은 기업들이 AI를 현업에 적용하는 방안을 고민하고 있습니다.특히, AI를 활용한 다양한 개발 환경들이 쏟아져 나오고 있음에도, 어떻게 개발하고 배포한 데이터를 분석해야 할지에 대한 명쾌한 방법을 찾기는 참 어렵습니다. 시중에는 다양한 AI 분석 플랫폼이 많고, 각 플랫폼들을 비교하고 검토하는 과정 또한 오래 소요되기 때문입니다. 그렇다면 이런 상황에서 분석가들이 실제로 AI 모델 개발 환경을 구축할 때 고민들은 어떤 것들이 있을까요?   대 AI 시대의 데이.. 2024. 11. 28.
DB 인사이드 | PWI - Shared Buffer > Wait Event Shared Buffer의 동작 원리에 이어서, Shared Buffer 내 동작 과정에서 발생할 수 있는 대표적인 Wait Event인 LWLock:BufferMapping과 LWLock:BufferContent에 대해서 알아보겠습니다. 📢 LWLock:BufferMapping, LWLock:BufferContent에서 LWLock은 Wait Event Type을 나타내며 BufferMapping과 BufferContent는 Wait Event Name을 가리킵니다.  LWLock:BufferMapping프로세스가 Hash Table에 대한 BufferMapping Lock 획득을 대기할 때 LWLock:BufferMapping이라는 Wait Event가 발생됩니다.동일한 Hash Table 영역에 .. 2024. 11. 27.
Feature Engineering : 데이터 정제와 가공 1. AI 모델 성능을 위한 효과적인 데이터 준비 과정오늘날 AI 발전의 핵심은 단순한 기술 혁신을 넘어, 데이터의 품질과 세밀한 가공 과정에 의해 결정됩니다. 데이터는 이제 AI 모델링의 근본 자원이며, 이를 어떻게 다듬고 활용하느냐에 따라 예측력과 신뢰성이 달라집니다. 이러한 과정에서 피처 엔지니어링(Feature Engineering)은 AI 모델의 성공을 좌우하는 핵심 단계로 자리 잡았습니다.  피처 엔지니어링은 간단히 말해, 예측 모델의 성능을 높이기 위해 기존 데이터를 가공하고 새로운 특성을 만드는 과정입니다. 이를 통해 AI가 단순한 정보 분석을 넘어 중요한 패턴을 찾고 신뢰성 있는 예측을 수행할 수 있게 됩니다. 마치 모래성을 쌓을 때, 흩어진 모래를 적절히 다지고 물을 더해 견고한 구조를.. 2024. 10. 31.
DB 인사이드 | PWI - Shared Buffer > 동작원리 지금까지 PostgreSQL의 Lock에 대해서 알아보았습니다.이어서 PostgreSQL을 구성하는 각각의 내부 아키텍처와 주요 메커니즘을 우선 이해하고, 그 과정에서 나타나는 Wait Event의 발생 원인과 해결 방안에 대해 살펴보겠습니다. 첫 번째 주제로 PostgreSQL의 Shared Buffer에 대해서 알아보고 그와 관련된 Wait Event는 어떤 것이 있는지 알아보겠습니다. Shared BufferShared Buffer는 모든 프로세스가 공유해서 사용하는 Shared Memory 내부에 위치하고 있으며, 데이터를 페이지 단위로 캐싱하여 I/O를 빠르게 처리하기 위한 목적으로 사용됩니다. 또한 Oracle의 Buffer Cache와 매우 유사하며 shared_buffers 파라미터를 통해.. 2024. 10. 25.
DB 인사이드 | PWI - LOCK > Other Locks 📢 PWI(PostgreSQL Wait Interface) - LOCKPostgreSQL의 Wait Event에 대하여 다루기 전에, 먼저 PostgreSQL에서 사용하는 Lock에 대한 전반적인 내용을 다룰 예정입니다.PostgreSQL은 Relation과 같은 Object를 보호하는 Heavyweight Lock(HWLock), Relation의 구성 요소의 하나인 Row를 다루는 Row-level Lock, 그리고 일반적으로 공유 메모리의 데이터 구조에 접근할 때 사용하는 Lightweight Lock(LWLock) 등 다양한 유형의 Lock을 제공합니다.앞으로 PWI - Locks에서는 PostgreSQL에서 사용하는 Lock의 종류와 특징, 동작 방식 등을 알아보고, 사용 예시를 통하여 Loc.. 2024. 9. 25.
AI에서 데이터 분석의 중요성 1. AI와 데이터 분석의 관계지난 수십 년간 우리는 이전에 상상할 수 없었던 속도로 데이터를 생산해 왔습니다. 현재 인류가 생성한 데이터의 총량은 약 90 제타바이트(ZB)에 달하며, 이는 인류 역사상 축적된 데이터의 수천 배에 이르는 양입니다. 이러한 데이터 폭발은 AI 기술 발전의 주요 촉매제가 되었으며, 데이터는 AI 모델의 학습과 예측, 의사결정 과정에서 필수적인 자원이 되었습니다. AI 모델은 데이터를 통해 세상을 이해하고, 예측하며, 복잡한 문제를 해결합니다. Andrew Ng은 AI를 '코드와 데이터'의 결합으로 설명하면서, 데이터가 없이는 AI가 그 능력을 제대로 발휘할 수 없다고 강조했습니다. 데이터는 AI 모델이 학습할 수 있도록 하는 연료와도 같기 때문에, 양질의 데이터를 어떻게 가.. 2024. 8. 29.
엑셈 원 Pick | 8월의 exemONE 봄에 출시된 exemONE이 고객 환경과 신속하게 연결되고 있습니다.그 어느때보다 무더웠던 날씨만큼 exemONE을 중심으로 개발본부와 지원본부는 치열한 여름을 보냈고, 8월의 exemONE은 열정만큼이나 눈에 띄는 성과를 이뤄내고 있습니다.  어느 솔루션이나 고객분들이 요구하는 것은 비슷합니다. 도입이 용이하고, 바로 사용할 수 있으며, 설정이 간단해야 한다는 것입니다. 최적의 툴을 찾는다는 것은 늘 어려운 일입니다. exemONE은 공식 출시 후 반 년이 채 되지 않아 여러 성과를 거두고 있습니다. exemONE은 대부분의 경우, Java, Python, .NET 등 다양한 애플리케이션부터 여러 종류의 데이터베이스, 쿠버네티스, 카프카, 로그, 네트워크까지 많은 모니터링 제품을 하나의 모니터링 제품으.. 2024. 8. 29.
DB 인사이드 | PWI - LOCK > Row-level Lock(2) 📢 PWI(PostgreSQL Wait Interface) - LOCKPostgreSQL의 Wait Event에 대하여 다루기 전에, 먼저 PostgreSQL에서 사용하는 Lock에 대한 전반적인 내용을 다룰 예정입니다.PostgreSQL은 Relation과 같은 Object를 보호하는 Heavyweight Lock(HWLock), Relation의 구성 요소의 하나인 Row를 다루는 Row-level Lock, 그리고 일반적으로 공유 메모리의 데이터 구조에 접근할 때 사용하는 Lightweight Lock(LWLock) 등 다양한 유형의 Lock을 제공합니다.앞으로 PWI - Locks에서는 PostgreSQL에서 사용하는 Lock의 종류와 특징, 동작 방식 등을 알아보고, 사용 예시를 통하여 Loc.. 2024. 8. 5.
DB 인사이드 | PWI - LOCK > Row-level Lock(1) 📢 PWI(PostgreSQL Wait Interface) - LOCKPostgreSQL의 Wait Event에 대하여 다루기 전에, 먼저 PostgreSQL에서 사용하는 Lock에 대한 전반적인 내용을 다룰 예정입니다.PostgreSQL은 Relation과 같은 Object를 보호하는 Heavyweight Lock(HWLock), Relation의 구성 요소의 하나인 Row를 다루는 Row-level Lock, 그리고 일반적으로 공유 메모리의 데이터 구조에 접근할 때 사용하는 Lightweight Lock(LWLock) 등 다양한 유형의 Lock을 제공합니다.앞으로 PWI - Locks에서는 PostgreSQL에서 사용하는 Lock의 종류와 특징, 동작 방식 등을 알아보고, 사용 예시를 통하여 Loc.. 2024. 8. 5.

티스토리툴바