본문 바로가기
Feature Engineering : 데이터 정제와 가공 1. AI 모델 성능을 위한 효과적인 데이터 준비 과정오늘날 AI 발전의 핵심은 단순한 기술 혁신을 넘어, 데이터의 품질과 세밀한 가공 과정에 의해 결정됩니다. 데이터는 이제 AI 모델링의 근본 자원이며, 이를 어떻게 다듬고 활용하느냐에 따라 예측력과 신뢰성이 달라집니다. 이러한 과정에서 피처 엔지니어링(Feature Engineering)은 AI 모델의 성공을 좌우하는 핵심 단계로 자리 잡았습니다.  피처 엔지니어링은 간단히 말해, 예측 모델의 성능을 높이기 위해 기존 데이터를 가공하고 새로운 특성을 만드는 과정입니다. 이를 통해 AI가 단순한 정보 분석을 넘어 중요한 패턴을 찾고 신뢰성 있는 예측을 수행할 수 있게 됩니다. 마치 모래성을 쌓을 때, 흩어진 모래를 적절히 다지고 물을 더해 견고한 구조를.. 2024. 10. 31.
DB 인사이드 | PWI - Shared Buffer > 동작원리 지금까지 PostgreSQL의 Lock에 대해서 알아보았습니다.이어서 PostgreSQL을 구성하는 각각의 내부 아키텍처와 주요 메커니즘을 우선 이해하고, 그 과정에서 나타나는 Wait Event의 발생 원인과 해결 방안에 대해 살펴보겠습니다. 첫 번째 주제로 PostgreSQL의 Shared Buffer에 대해서 알아보고 그와 관련된 Wait Event는 어떤 것이 있는지 알아보겠습니다. Shared BufferShared Buffer는 모든 프로세스가 공유해서 사용하는 Shared Memory 내부에 위치하고 있으며, 데이터를 페이지 단위로 캐싱하여 I/O를 빠르게 처리하기 위한 목적으로 사용됩니다. 또한 Oracle의 Buffer Cache와 매우 유사하며 shared_buffers 파라미터를 통해.. 2024. 10. 25.
DB 인사이드 | PWI - LOCK > Other Locks 📢 PWI(PostgreSQL Wait Interface) - LOCKPostgreSQL의 Wait Event에 대하여 다루기 전에, 먼저 PostgreSQL에서 사용하는 Lock에 대한 전반적인 내용을 다룰 예정입니다.PostgreSQL은 Relation과 같은 Object를 보호하는 Heavyweight Lock(HWLock), Relation의 구성 요소의 하나인 Row를 다루는 Row-level Lock, 그리고 일반적으로 공유 메모리의 데이터 구조에 접근할 때 사용하는 Lightweight Lock(LWLock) 등 다양한 유형의 Lock을 제공합니다.앞으로 PWI - Locks에서는 PostgreSQL에서 사용하는 Lock의 종류와 특징, 동작 방식 등을 알아보고, 사용 예시를 통하여 Loc.. 2024. 9. 25.
AI에서 데이터 분석의 중요성 1. AI와 데이터 분석의 관계지난 수십 년간 우리는 이전에 상상할 수 없었던 속도로 데이터를 생산해 왔습니다. 현재 인류가 생성한 데이터의 총량은 약 90 제타바이트(ZB)에 달하며, 이는 인류 역사상 축적된 데이터의 수천 배에 이르는 양입니다. 이러한 데이터 폭발은 AI 기술 발전의 주요 촉매제가 되었으며, 데이터는 AI 모델의 학습과 예측, 의사결정 과정에서 필수적인 자원이 되었습니다. AI 모델은 데이터를 통해 세상을 이해하고, 예측하며, 복잡한 문제를 해결합니다. Andrew Ng은 AI를 '코드와 데이터'의 결합으로 설명하면서, 데이터가 없이는 AI가 그 능력을 제대로 발휘할 수 없다고 강조했습니다. 데이터는 AI 모델이 학습할 수 있도록 하는 연료와도 같기 때문에, 양질의 데이터를 어떻게 가.. 2024. 8. 29.
엑셈 원 Pick | 8월의 exemONE 봄에 출시된 exemONE이 고객 환경과 신속하게 연결되고 있습니다.그 어느때보다 무더웠던 날씨만큼 exemONE을 중심으로 개발본부와 지원본부는 치열한 여름을 보냈고, 8월의 exemONE은 열정만큼이나 눈에 띄는 성과를 이뤄내고 있습니다.  어느 솔루션이나 고객분들이 요구하는 것은 비슷합니다. 도입이 용이하고, 바로 사용할 수 있으며, 설정이 간단해야 한다는 것입니다. 최적의 툴을 찾는다는 것은 늘 어려운 일입니다. exemONE은 공식 출시 후 반 년이 채 되지 않아 여러 성과를 거두고 있습니다. exemONE은 대부분의 경우, Java, Python, .NET 등 다양한 애플리케이션부터 여러 종류의 데이터베이스, 쿠버네티스, 카프카, 로그, 네트워크까지 많은 모니터링 제품을 하나의 모니터링 제품으.. 2024. 8. 29.
DB 인사이드 | PWI - LOCK > Row-level Lock(2) 📢 PWI(PostgreSQL Wait Interface) - LOCKPostgreSQL의 Wait Event에 대하여 다루기 전에, 먼저 PostgreSQL에서 사용하는 Lock에 대한 전반적인 내용을 다룰 예정입니다.PostgreSQL은 Relation과 같은 Object를 보호하는 Heavyweight Lock(HWLock), Relation의 구성 요소의 하나인 Row를 다루는 Row-level Lock, 그리고 일반적으로 공유 메모리의 데이터 구조에 접근할 때 사용하는 Lightweight Lock(LWLock) 등 다양한 유형의 Lock을 제공합니다.앞으로 PWI - Locks에서는 PostgreSQL에서 사용하는 Lock의 종류와 특징, 동작 방식 등을 알아보고, 사용 예시를 통하여 Loc.. 2024. 8. 5.
DB 인사이드 | PWI - LOCK > Row-level Lock(1) 📢 PWI(PostgreSQL Wait Interface) - LOCKPostgreSQL의 Wait Event에 대하여 다루기 전에, 먼저 PostgreSQL에서 사용하는 Lock에 대한 전반적인 내용을 다룰 예정입니다.PostgreSQL은 Relation과 같은 Object를 보호하는 Heavyweight Lock(HWLock), Relation의 구성 요소의 하나인 Row를 다루는 Row-level Lock, 그리고 일반적으로 공유 메모리의 데이터 구조에 접근할 때 사용하는 Lightweight Lock(LWLock) 등 다양한 유형의 Lock을 제공합니다.앞으로 PWI - Locks에서는 PostgreSQL에서 사용하는 Lock의 종류와 특징, 동작 방식 등을 알아보고, 사용 예시를 통하여 Loc.. 2024. 8. 5.
인트로: AI 모델링, MLOps, LLM 활용 | AI 기술의 통합적 접근 시작하며AI 기술의 급격한 발전과 함께, 우리 팀은 AI 모델 개발, MLOps(머신러닝 운영), 그리고 최신 LLM(Large Language Model) 기술 활용을 통해 전반적인 AI 영역을 아우르고 있습니다. 우리는 이러한 기술들을 통해 혁신적이고 차별화된 솔루션을 제공하고, 비즈니스 가치를 극대화하고자 합니다. 앞으로 진행할 콘텐츠는 AI 기술을 통합적으로 활용하여 실질적인 비즈니스 문제를 해결하고, 어떻게 가치를 창출하는 지에 대해 소개할 것입니다. 더불어, 특정 주제에 대한 개괄과 실제 문제 해결 사례 중심으로 진행할 것입니다. 아래는 앞으로 다룰 주요 주제들을 개괄적으로 소개하고 있습니다. 이 글을 통해 AI 기술의 전반적인 흐름과 각 단계에서의 핵심 포인트를 이해할 수 있기를 기대합니다... 2024. 6. 27.
DB 인사이드 | PWI - LOCK > Relation-level Lock 📢 PWI(PostgreSQL Wait Interface) - LOCKPostgreSQL의 Wait Event에 대하여 다루기 전에, 먼저 PostgreSQL에서 사용하는 Lock에 대한 전반적인 내용을 다룰 예정입니다.PostgreSQL은 Relation과 같은 Object를 보호하는 Heavyweight Lock(HWLock), Relation의 구성 요소의 하나인 Row를 다루는 Row-level Lock, 그리고 일반적으로 공유 메모리의 데이터 구조에 접근할 때 사용하는 Lightweight Lock(LWLock) 등 다양한 유형의 Lock을 제공합니다.앞으로 PWI - LOCKS에서는 PostgreSQL에서 사용하는 Lock의 종류와 특징, 동작 방식 등을 알아보고, 사용 예시를 통하여 Loc.. 2024. 6. 11.

티스토리툴바