본문 바로가기
Chapter 2-2. 시계열 데이터 전처리 Chapter 2-2. 시계열 데이터 전처리 앞서 Chapter 2에서는 numpy와 pandas를 이용하여 데이터 구조를 변형하는 방법에 대하여 알아보았다. 이번 챕터에서는 pandas에서 제공하는 시계열 도구와 가장 널리 쓰이는 타임스탬프(timestamp)라는 구조를 사용하여 설명할 것이다. 먼저, Datetime이라는 파이썬 라이브러리에서 제공하는 datetime을 사용하여 현재 날짜 및 시간을 알아보고, timedelta를 사용하여 시간적 차이를 표현해보자. In [1]: from datetime import datetime now = datetime.now() now Out[1]: datetime.datetime(2022, 5, 20, 11, 42, 5, 90657) Timedelta를 이용하.. 2022. 9. 28.
DB 인사이드 | PostgreSQL Setup - Minor Upgrade ※ 목차 ※ Upgrade PostgreSQL Minor Version on Linux Upgrade PostgreSQL Minor Version on Windows Upgrade PostgreSQL Minor Version on Linux 목차 PostgreSQL의 Minor버전 릴리즈는 Major버전의 아키텍처를 변경(변형) 하지 않는 선에서 자주 발생하는 버그, 보안 및 데이터 손상 문제에 대해서만 수정된 내용을 제공합니다. Major버전 내부 아키텍처 변경이 없기 때문에 Minor버전 간의 호환성을 유지할 수 있습니다. Linux에서 Minor Version Upgrade는 세가지 방법이 존재합니다. 첫 번째로, yum, apt를 통한 Minor Upgrade가 있습니다. 인터넷이 연결되어 있고,.. 2022. 9. 28.
고객사례 | 하이브리드 클라우드 E2E 모니터링 환경 구축 온프레미스와 클라우드를 함께, 하이브리드 클라우드로 전환 많은 기업들이 기존 온프레미스 환경의 단점을 극복하고 더 나은 서비스를 제공하기 위해 클라우드 환경으로의 전환을 고려한다. 기존에는 클라우드 전환 시 데이터 중력, 보안, 다른 시스템과의 높은 상호 의존성 등의 문제로 전환 비율이 낮았지만, 점차 위와 같은 문제를 극복할 수 있는 하이브리드 클라우드 형태를 선택하는 기업들이 많아지고 있다. *하이브리드 클라우드 : 클라우드 구축 시 외부 인프라를 이용하는 ‘퍼블릭 클라우드’와 자체 인프라를 활용하는 ‘프라이빗 클라우드’ 또는 기업 내에 서버 설치·운영하는 ‘온프레미스’가 조합된 서버 이용 환경 하이브리드 환경은 온프레미스 레거시 인프라도 포함할 수 있기 때문에 클라우드로 이전할 수 있는 애플리케이션.. 2022. 9. 28.
KNIME | KNIME이라고 들어봤어요? 코딩 없이도 데이터 분석을 할 수 있다 NOW 엑셈 뉴스레터를 통해 데이터 분석 플랫폼인 ‘KNIME’에 대해서 설명을 드리려고 해요. 총 5 Part로 나누어 진행되니 기대해주세요! Part.1 KNIME Q1. KNIME이 무엇인가요? A1. 질문에 답하기 전에 데이터 분석을 먼저 알아볼까 해요. 데이터 분석이란, 원시데이터를 가공해 의미있는 데이터를 만들고 의사 결정에 도움이 되는 정보를 이끌어내는 것을 뜻해요. 원시데이터는 여러가지가 될 수 있어요! 키, 댐 수위 변화, 평점, 성별, 나이, 뉴스기사, 음성, 사진(각각 연속형, 시계열, 이산형, 이진데이터, 문자열, 소리, 이미지 데이터) 등을 예로 들 수 있겠네요. 이러한 원시데이터를 사람이 직접 톺아보며 유의미한 정보를 찾기에는 매우 번잡하고.. 2022. 9. 27.
Chapter 2. Pandas 3편 : Time Series 머신러닝을 위한 Python 필수 라이브러리 2.2.10 데이터 로딩과 저장 2.2.10.1 파일 읽기 pandas에는 표 형식으로 되어있는 포맷으로 되어진 파일을 읽을 수 있도록 기능을 제공하고 있다. 그 중에서 주로 사용하는 read_csv와 read_table만 사용해보자. 해당 예제파일은 쉼표로 구분 되어있기 때문에 read_csv을 사용해서 dataframe으로 읽어올 수 있다. Read_table의 경우는 구분자를 쉼표로 지정해서 읽어올 수 있다. In [1]: !cat ex1.csv Out [2]: ,a,b,c,d 0,1,2,3,4 1,5,6,7,8 2,9,10,11,12 3,13,14,15,16 In [3]: df = pd.read_csv('ex1.csv', index_col = 0) In [4]: df Out [5]: abcd 01.. 2022. 8. 25.
Chapter 2. Pandas 2편 : Time Series 머신러닝을 위한 Python 필수 라이브러리 2.2 Time Series 머신러닝을 위한 Python 필수 라이브러리, Pandas 2편 2.2.3 원소선택, 인덱싱 2.2.3.1 series 인덱싱 인덱싱은 [위치] 또는 [‘인덱스명’]으로 인덱싱이 가능하다. In [1]: import pandas as pd import numpy as np In [2]: series_data = [2,4,6,8] In [3]: series_data = pd.Series(series_data) In [6]: series_data Out[6]: 0 2 1 4 2 6 3 8 dtype: int64 In [7]: series_data[1] Out[7]: 4 * 여러 값 인덱싱 및 슬라이싱 한 번에 여러 값을 인덱싱 하게 될 때는 위치나 인덱스명 둘 다 짝을 이루는 값.. 2022. 8. 25.
Chapter 2. Pandas 1편 : Time Series 머신러닝을 위한 Python 필수 라이브러리 2.2 Time Series 머신러닝을 위한 Python 필수 라이브러리, Pandas 1편 Pandas란? Python Data Analysis Library의 약어이며, R을 모티브로 하여 만들어진 파이썬 라이브러리이다. 쉽고 직관적인 관계형 또는 분류된 데이터로 작업할 수 있도록 설계된 빠르고 유연하며 표현이 풍부한 데이터 구조를 제공하고 있다. Pandas가 필요한 이유는 Numpy의 ndarray 데이터 구조는 산술 연산 작업에서 포맷이 잘 정리된 데이터 타입을 위한 기능들을 제공하고 있지만, 현실 데이터는 생각보다 정돈이 잘 되어있지 않기 때문이다. Pandas는 데이터를 표(table) 형태로 처리할 수 있어서 수집된 데이터의 전처리 등 각종 데이터 핸들링을 쉽고 편하게 할 수 있다. 그렇기.. 2022. 8. 25.
스포트라이트 | InterMax mAPM, 더 이상 선택이 아닌 필수인 이유 포스트 코로나 시대에 살고 있는 우리에게 매우 익숙한 키워드 중 하나가 바로 ‘비대면’이다. 그간 오프라인에서 진행되어 온 수많은 활동들이 하나 둘 모두 비대면으로 빠르게 전환하고 있다. 그 변화의 중심에 모바일 애플리케이션이 있다. 연구에 따르면 지난 2017년부터 2021년까지 분야별 모바일 앱의 연평균 성장률이 크게 증가했다. 이는 앱 서비스를 제공하는 업체에게 좋은 소식이면서도 새로운 도전 및 과제를 직면하게 했다. 수많은 사람들이 매일 사용하고 있는 앱 서비스를 장애없이 운영해야만 고객 만족도가 올라가고 성공한 서비스가 될 수 있기 때문이다. 반면 예상치 못한 장애로 사용자에게 잦은 불편을 끼치면 고객 이탈을 피할 수 없다. 따라서 앱 서비스를 제공하는 업체라면 당연히 고려할 수 밖에 없는 것이.. 2022. 8. 25.
DB 인사이드 | PostgreSQL Setup - Installation 본 문서에서는 Linux와 Windows에서 PostgreSQL 여러 설치 방법에 대해 설명하도록 하겠습니다. ※ 목차 ※ Install Overview Install PostgreSQL on Linux (CentOS - yum) Install PostgreSQL on Linux (CentOS - rpm) Install PostgreSQL on Linux (Ubuntu - apt) Install PostgreSQL on Linux (Ubuntu - dpkg) Install PostgreSQL on Linux (Source File) Install PostgreSQL on Windows (설치관리자) Install PostgreSQL on Windows (Binary File) 부록 1. 외부 접속을 위한.. 2022. 8. 25.

티스토리툴바