태터데스크 관리자

도움말
닫기
적용하기   첫페이지 만들기

태터데스크 메시지

저장하였습니다.

엑기스 | 지능형 전력 빅데이터 예측, AutoML이 답!

기술이야기/엑.기.스 2020. 3. 13. 16:38






인공지능(AI)과 전력 빅데이터 분석


인공지능은 센스나 장비, 기기 등의 현 상태를 모니터링 하는 단순 영역부터 복잡하고 불확실한 미래상황을 추론하는 영역까지 다양한 영역에서 적용되고 있다. 가트너에서는 AI가 2021년까지 3천 3백조원의 비즈니스 가치와 7조 시간을 절약하는 업무 생산성 향상을 가져다 줄 것으로 예상하고 있다. 기계학습(머신러닝, Machine Learning)이나 심층학습(딥러닝, Deep Learning)은 모두 인간의 지능을 대체한다는 점에서 인공지능이라고 정의된다.


최근 데이터 과학과 데이터 사이언티스트의 부족으로 인해 자동 기계학습(Auto ML) 영역이 급속도로 커지고 있다. Auto Machine Learning이란, 데이터만 있다면 자동으로 분석 모델을 학습하고 갱신하여 최적의 분석 알고리즘을 추천, 업무에 적용하는 것이다. 분석 전문 지식이 없는 일반 사용자도 쉽게 머신 러닝 분석을 자동으로 생성하고 활용 가능하다. Auto ML 소프트웨어 툴의 수는 단 2년 만에 300%가 증가하였는데, 자동화된 데이터 과학 도구에 대한 다양한 정의, 기대 및 회의론과 모델 개발 및 배포에 대한 개선된 접근 방식 등의 변화로 이루어졌다.

전력 분야에서는 자원 및 시설의 효율적인 관리와 함께 문제 및 변칙의 적시 감지, 전력 수요 및 서비스에 대한 효과적인 예측을 위해 빅데이터와 AI 기술을 활용하고 있다. 다수 빅데이터 프로젝트가 진행되고 있으며, 플랫폼 및 인프라, 에너지 대용량 데이터 모니터링 및 분석, 스마트 시티, 스마트 홈 및 전기 자동차의 수요 예측, 새롭고 혁신적인 에너지 서비스 등의 분야를 포함한다.


데이터 분석 기법과 프로세스

데이터 분석의 80%가 머신러닝 기법을 이용하고 있다. 머신러닝은 비지도, 지도, 심층, 강화 학습 등으로 나뉘고, 최근 Gradient Boosting Tree와 Random Forest와 같은 머신러닝 앙상블 모델을 분석에 주로 활용한다. 현재 머신러닝 자동화 제품으로 가능한 분석 기법은 지도학습(Supervised Learning)이다. 예측하고자 하는 변수(목표변수, 결과)를 분석하기 위해서는 결과(정답)가 있는 과거 이력 데이터가 필요하기 때문이다. 일부 상용 머신러닝 플랫폼 중 머신러닝 자동화가 가능한 제품은 비지도학습 기법인 주성분 분석(Principal Component Analysis)과 K-Means 분석을 활용해 결과 예측력을 높이는 기능도 제공한다.


일반적인 데이터 분석 프로세스는 데이터 준비 – 데이터 저장 – 구조화 – 전처리 – 모델 평가 – 모델 학습 – 예측 데이터 수집 – 모델 배포 – 예측과 실제 결과 비교 – 모델 관리 모니터링 – 시각화 – 인사이트 발굴의 12단계이며, 대표적인 전통적 데이터 분석 프로세스는 아래 3가지가 있다.


그렇다면 전통적인 IT 프로젝트와 빅데이터 분석 프로젝트의 차이는 무엇일까? 전통적인 프로젝트는 기존 프로세스를 파악해 개선된 프로세스를 기반으로 시스템과 제품, 생산 등의 효율성과 비용절감을 강조하지만, 빅데이터 분석은 예측을 통해 가치를 창출하는데 초점을 맞춘다.




머신러닝 플랫폼의 종류와 평가 프레임워크



가트너에서 매년 발표하는 Magic Quadrant의 2020년 데이터 과학과 머신러닝 플랫폼 부문을 보자. 2020년으로 넘어가면서 전통적인 머신러닝 플랫폼인 SAS가 다시 리더 포지션으로 올라왔고, KNIME이 작년 리더 그룹에서 비저너리 그룹으로 내려온 점이 주목할 만 하다. 또한 Databricks, Dataiku, DataRobot 등이 새로운 포지션으로 이동했다. 

데이터 사이언티스트들은 오픈소스로 모델을 구현하는 경우가 많지만, 모델 구현 후 모델 배포 관점에서 상용 플랫폼을 선택하는 경우가 많다. 상용 플랫폼의 경우 모델 배포 및 모델 활용을 위해 Rest API 지원이 편리하고 용이하기 때문이다. 또한 다수의 상업 플랫폼이 이용 가능한 머신러닝 플랫폼이 R과 Python을 같이 쓸 수 있도록 지원하고 있다. 외산 Auto ML 제품군에서는 DataRobot과 H2O가 국내 지원을 하고 있다. 


Auto ML 평가를 위한 일관성 기준도 있다.

① 데이터 연결성 

② Summarization, Exploration & Cleansing을 포함한 데이터 처리의 기능 및 자동화

③ 데이터 변환 및 피쳐 선택을 포함한 피쳐 엔지니어링에서의 기능 및 자동화

④ 하이퍼 파라미터 튜닝, 문제 유형 및 앙상블을 포함한 학습 알고리즘의 기능 및 자동화

⑤ 데이터 및 모델 성능 시각화

⑥ 모델 성능 평가 역량

⑦ 제품 GUI, 코드 배포 및 포함을 비롯한 배포 옵션

⑧ 가격 책정


대표적 Auto ML인 데이터로봇의 기능과 특장점을 살펴보자. 

① 데이터 탐색 → 100+여개 기법 중 최적 모델 선택 → 최적의 하이퍼 파라미터 기준으로 모델 구현 → 분석 모델 배포 → 배포된 모델 관리

② 로지스틱 회귀, 랜덤 포레스트, 서포트 벡터머신, Lasso 회귀, 베이지안, 신경망 모델 등 100+여개의 분석 모델 중 최적 모델 선정

③ 사람이 아닌 기계를 통한 최적화로 모델 구현 공수 70% 감소 효과






Auto ML을 통한 전력사용량 예측


1분석 목표와 범위 : 전력 데이터를 활용한 고객 사용량 예측

공개된 임의의 과거 3년의 전력 사용량을 활용하여 전력사용량을 예측하는 분석 수행을 통해 예측 분석 모델링을 하고자 한다. 계약정보 및 사용량 패턴을 통해 고객별 일별 전력사용량을 예측하는 모델을 구축했다.


2. 분석 결과 및 활용 : 전력사용량 예측 모델 활용

분석한 모델을 웹서버에 배포하여 실시간으로 전략 사용량 예측 가능성을 타진하였고, 가상의 임의의 데이터를 평균값으로 입력 후 전략 사용량을 예측했다.



가상환경 환경 시뮬레이션을 통해 전력사용량을 재계산한 결과 전력 사용량이 174601.56kWh로 변경되었다.



3. AI기반 지능형 전력 빅데이터의 활용
향후 전력 사업 분야에서도 새로운 비즈니스와 가치 창출을 위해 Auto ML을 활용할 것으로 예상하며, AI 기반의 전력 분야에서 자원 및 시설의 효율적인 관리, 문제 및 변칙의 적시 감지, 전력 수요 및 서비스에 대한 효과적인 예측을 위해 빅데이터 및 AI 기술을 활용할 수 있는 지능형 빅데이터 분석 플랫폼이 필요할 것이다.









기고 | 빅데이터사업본부 조치선
편집 | 사업기획팀 박예영








엑기스 | 대한민국 4차 산업혁명 페스티벌 2020

기술이야기/엑.기.스 2019. 12. 9. 15:28






4차 산업혁명 시대를 맞아 지난 12월 17일~19일 코엑스 A홀에서 '대한민국 4차 산업혁명 페스티벌 2020' 전시회가 열렸습니다.

지디넷코리아가 주관하고 과학기술정보통신부와 대통령직속 4차산업혁명위원회가 주최하는 이 행사는

정부의 내년 정책을 엿볼 수 있을 뿐만 아니라, 4차 산업혁명 핵심 기술과 비즈니스가 소개되었던 자리였습니다.

이 자리에 엑셈도 빠질 수 없겠죠?



엑셈 부스는 입구 근처에 마련되어 있어 행사장으로 오시면 쉽게 만나볼 수 있었는데요.

이번 행사에서 클라우드 네이티브 성능 관리(InterMax Cloud)를 비롯해 AI 기반 IT 운영 지능화(EXEM AIOps),

빅데이터 분석 솔루션(DataRobot, KNIME)에 이르는 다양한 4차 산업 기술을 소개했습니다.

많은 분들께서 저희 솔루션에 관심을 주셨는데요, 이 자리를 빌어 방문해주신 모든 분들께 감사 말씀 드립니다!









첫날인 17일, 독일 공학한림원 헤닝 카거만 박사의 기조연설로 컨퍼런스가 시작되었습니다.

인더스트리 4.0에 대한 독일 기업들의 인식변화를 소개하며, 인더스트리 4.0은 사람과 로봇이 협동하는 '하이브리드 팀'이 이상적이라고 밝혔습니다. 기계가 인간을 대체하는 것이 아니라 특정한 상황에서는 로봇보다 사람이 훨씬 더 창의적이라고요. 현재 독일에서는 '하이브리드 팀'에 대한 연구가 진행중이라고 합니다. 

마지막으로 자율화, 상호운용성, 지속성을 목표로 디지털 생태계를 전 세계로 확장하겠다는 인더스트리 4.0에 대한 새로운 비전을 소개했습니다.





그리고 오후에는 4차 산업혁명과 관련된 정부 정책에 대해 들을 수 있는 다양한 세션이 펼쳐졌어요. 

먼저 한국데이터산업진흥원에서는 '데이터 경제 활성화를 위한 데이터 거래 기반 구축 방안'을 발표했습니다. 4차산업 시대의 데이터 거래에 대한 중요성을 밝히고, 국내외 데이터 거래시장 현황과 향후 정부의 지원 정책에 대한 내용을 공개했습니다.





행정안전부에서는 '디지털 정부혁신 추진방안'을 발표했는데요. 향후 3년 내 반드시 성과를 내기로 한 우선 추진과제 6가지(▲선제적·통합적 대국민 서비스 혁신▲공공부문 마이데이터 활성화▲시민 참여 플랫폼 고도화▲현장 중심 스마트 업무환경 구현▲클라우드와 디지털 서비스 이용 활성화▲개방형 데이터·서비스 생태계 구축)와 중장기적 비전을 공개했습니다. 

전자정부에 대한 정부의 강력한 의지를 느낄 수 있었던 세션이었어요.





과학기술정보통신부에서는 ‘AI 정책 방향’을 발표했습니다. AI는 피할 수 없는 흐름이기에, AI를 통해 산업과 사회가 도약해야 한다고 언급하며 ‘AI 정부’로 거듭나기 위한 전략을 공개했어요. (▲AI 산업 기반 조성▲산업·사회 전 분야의 AI 활용▲일자리 등 변화에 대한 선제적 대응) 

또한 구체적으로 인프라 조성을 위해 데이터 개방과 AI 반도체 강화를 강조했습니다. 





한편, 이번 전시회 둘째 날인 18일 오후에는 엑셈이 세션 발표를 진행했습니다.

신사업본부 Cloud그룹장 강인규 이사님께서 클라우드 네이티브 아키텍처 통합관제 솔루션 InterMax Cloud(인터맥스 클라우드)를 소개해주셨어요.

세션을 듣기 위해 많은 분들께서 참석해주셔서 높은 관심을 알 수 있었고,

세미나 종료 후 발표 자료 요청과 함께 솔루션 관련 문의를 주시기도 했습니다.




2019년 하반기는 전시회들로 유난히 분주했던 것 같은데요.

많은 분들께 엑셈을 소개하며 큰 관심을 받아 행복했던 시간이었습니다.

엑셈 부스를 방문해주신 모든 분들께 다시 한번 진심으로 감사의 인사를 드립니다.








기획 및 글 | 사업기획팀 박예영

사진 촬영 | 사업기획팀 홍성덕







[Semtong 143회] 2020년에도 대박나쥐!

다른 이야기도 궁금하시다면?

 

 

 👨‍🏫 엑셈 뉴스룸 | SoftWave 2019 참가기

 💌 엑쓸신잡 | 2020년부터 바뀌는 것들

 😉 엑기스 | 대한민국 4차 산업혁명 페스티벌 2020