태터데스크 관리자

도움말
닫기
적용하기   첫페이지 만들기

태터데스크 메시지

저장하였습니다.

엑기스 | 지능형 전력 빅데이터 예측, AutoML이 답!

기술이야기/엑.기.스 2020. 3. 13. 16:38






인공지능(AI)과 전력 빅데이터 분석


인공지능은 센스나 장비, 기기 등의 현 상태를 모니터링 하는 단순 영역부터 복잡하고 불확실한 미래상황을 추론하는 영역까지 다양한 영역에서 적용되고 있다. 가트너에서는 AI가 2021년까지 3천 3백조원의 비즈니스 가치와 7조 시간을 절약하는 업무 생산성 향상을 가져다 줄 것으로 예상하고 있다. 기계학습(머신러닝, Machine Learning)이나 심층학습(딥러닝, Deep Learning)은 모두 인간의 지능을 대체한다는 점에서 인공지능이라고 정의된다.


최근 데이터 과학과 데이터 사이언티스트의 부족으로 인해 자동 기계학습(Auto ML) 영역이 급속도로 커지고 있다. Auto Machine Learning이란, 데이터만 있다면 자동으로 분석 모델을 학습하고 갱신하여 최적의 분석 알고리즘을 추천, 업무에 적용하는 것이다. 분석 전문 지식이 없는 일반 사용자도 쉽게 머신 러닝 분석을 자동으로 생성하고 활용 가능하다. Auto ML 소프트웨어 툴의 수는 단 2년 만에 300%가 증가하였는데, 자동화된 데이터 과학 도구에 대한 다양한 정의, 기대 및 회의론과 모델 개발 및 배포에 대한 개선된 접근 방식 등의 변화로 이루어졌다.

전력 분야에서는 자원 및 시설의 효율적인 관리와 함께 문제 및 변칙의 적시 감지, 전력 수요 및 서비스에 대한 효과적인 예측을 위해 빅데이터와 AI 기술을 활용하고 있다. 다수 빅데이터 프로젝트가 진행되고 있으며, 플랫폼 및 인프라, 에너지 대용량 데이터 모니터링 및 분석, 스마트 시티, 스마트 홈 및 전기 자동차의 수요 예측, 새롭고 혁신적인 에너지 서비스 등의 분야를 포함한다.


데이터 분석 기법과 프로세스

데이터 분석의 80%가 머신러닝 기법을 이용하고 있다. 머신러닝은 비지도, 지도, 심층, 강화 학습 등으로 나뉘고, 최근 Gradient Boosting Tree와 Random Forest와 같은 머신러닝 앙상블 모델을 분석에 주로 활용한다. 현재 머신러닝 자동화 제품으로 가능한 분석 기법은 지도학습(Supervised Learning)이다. 예측하고자 하는 변수(목표변수, 결과)를 분석하기 위해서는 결과(정답)가 있는 과거 이력 데이터가 필요하기 때문이다. 일부 상용 머신러닝 플랫폼 중 머신러닝 자동화가 가능한 제품은 비지도학습 기법인 주성분 분석(Principal Component Analysis)과 K-Means 분석을 활용해 결과 예측력을 높이는 기능도 제공한다.


일반적인 데이터 분석 프로세스는 데이터 준비 – 데이터 저장 – 구조화 – 전처리 – 모델 평가 – 모델 학습 – 예측 데이터 수집 – 모델 배포 – 예측과 실제 결과 비교 – 모델 관리 모니터링 – 시각화 – 인사이트 발굴의 12단계이며, 대표적인 전통적 데이터 분석 프로세스는 아래 3가지가 있다.


그렇다면 전통적인 IT 프로젝트와 빅데이터 분석 프로젝트의 차이는 무엇일까? 전통적인 프로젝트는 기존 프로세스를 파악해 개선된 프로세스를 기반으로 시스템과 제품, 생산 등의 효율성과 비용절감을 강조하지만, 빅데이터 분석은 예측을 통해 가치를 창출하는데 초점을 맞춘다.




머신러닝 플랫폼의 종류와 평가 프레임워크



가트너에서 매년 발표하는 Magic Quadrant의 2020년 데이터 과학과 머신러닝 플랫폼 부문을 보자. 2020년으로 넘어가면서 전통적인 머신러닝 플랫폼인 SAS가 다시 리더 포지션으로 올라왔고, KNIME이 작년 리더 그룹에서 비저너리 그룹으로 내려온 점이 주목할 만 하다. 또한 Databricks, Dataiku, DataRobot 등이 새로운 포지션으로 이동했다. 

데이터 사이언티스트들은 오픈소스로 모델을 구현하는 경우가 많지만, 모델 구현 후 모델 배포 관점에서 상용 플랫폼을 선택하는 경우가 많다. 상용 플랫폼의 경우 모델 배포 및 모델 활용을 위해 Rest API 지원이 편리하고 용이하기 때문이다. 또한 다수의 상업 플랫폼이 이용 가능한 머신러닝 플랫폼이 R과 Python을 같이 쓸 수 있도록 지원하고 있다. 외산 Auto ML 제품군에서는 DataRobot과 H2O가 국내 지원을 하고 있다. 


Auto ML 평가를 위한 일관성 기준도 있다.

① 데이터 연결성 

② Summarization, Exploration & Cleansing을 포함한 데이터 처리의 기능 및 자동화

③ 데이터 변환 및 피쳐 선택을 포함한 피쳐 엔지니어링에서의 기능 및 자동화

④ 하이퍼 파라미터 튜닝, 문제 유형 및 앙상블을 포함한 학습 알고리즘의 기능 및 자동화

⑤ 데이터 및 모델 성능 시각화

⑥ 모델 성능 평가 역량

⑦ 제품 GUI, 코드 배포 및 포함을 비롯한 배포 옵션

⑧ 가격 책정


대표적 Auto ML인 데이터로봇의 기능과 특장점을 살펴보자. 

① 데이터 탐색 → 100+여개 기법 중 최적 모델 선택 → 최적의 하이퍼 파라미터 기준으로 모델 구현 → 분석 모델 배포 → 배포된 모델 관리

② 로지스틱 회귀, 랜덤 포레스트, 서포트 벡터머신, Lasso 회귀, 베이지안, 신경망 모델 등 100+여개의 분석 모델 중 최적 모델 선정

③ 사람이 아닌 기계를 통한 최적화로 모델 구현 공수 70% 감소 효과






Auto ML을 통한 전력사용량 예측


1분석 목표와 범위 : 전력 데이터를 활용한 고객 사용량 예측

공개된 임의의 과거 3년의 전력 사용량을 활용하여 전력사용량을 예측하는 분석 수행을 통해 예측 분석 모델링을 하고자 한다. 계약정보 및 사용량 패턴을 통해 고객별 일별 전력사용량을 예측하는 모델을 구축했다.


2. 분석 결과 및 활용 : 전력사용량 예측 모델 활용

분석한 모델을 웹서버에 배포하여 실시간으로 전략 사용량 예측 가능성을 타진하였고, 가상의 임의의 데이터를 평균값으로 입력 후 전략 사용량을 예측했다.



가상환경 환경 시뮬레이션을 통해 전력사용량을 재계산한 결과 전력 사용량이 174601.56kWh로 변경되었다.



3. AI기반 지능형 전력 빅데이터의 활용
향후 전력 사업 분야에서도 새로운 비즈니스와 가치 창출을 위해 Auto ML을 활용할 것으로 예상하며, AI 기반의 전력 분야에서 자원 및 시설의 효율적인 관리, 문제 및 변칙의 적시 감지, 전력 수요 및 서비스에 대한 효과적인 예측을 위해 빅데이터 및 AI 기술을 활용할 수 있는 지능형 빅데이터 분석 플랫폼이 필요할 것이다.









기고 | 빅데이터사업본부 조치선
편집 | 사업기획팀 박예영








월간기술동향 | AI가 개발을?

 

매 해 10월, 미국의 IT 연구 및 자문 회사인 가트너에서는 다음 해 10대 전략 기술 트렌드를 발표합니다. 해마다 달라지는 기술 트렌드를 반영하기 때문에 가트너가 제시하는 기술 트렌드는 매년 조금씩 변화하고 있는데요, 지난 10월 15일 “Top 10 Strategic Technology Trends for 2019”를 발표하였습니다. 


그래서 이번 시간에는 2019년 10대 전략 기술 트렌드 중 흥미로운 하나를 살펴보겠습니다.

 

 

 

 Gartner Top 10 Strategic Technology Trends for 2019 


가트너가 선정한 기술 트렌드는 시대를 선도할 잠재성이 매우 크며, 혁신을 불러 일으킬 것으로 예상됩니다. 

이번 2019년 10대 전략 기술 트렌드는 아직 세상에 많이 알려져 있지 않으며, 앞으로 4년동안 산업에 강한 영향력을 미칠 수 있는 트렌드들에 주목했다고 합니다.

 

<그림1 가트너의 2019 10대 전략 기술 트렌드>

출처: https://www.gartner.com/smarterwithgartner/gartner-top-10-strategic-technology-trends-for-2019/ 

 

위 그림에서 알 수 있듯이, 가트너가 제시하는 2019년 10대 전략 기술 트렌드는 ▲자율 사물(Autonomous Things) ▲증강 분석(Augmented Analytics) ▲인공지능 주도 개발(AI-Driven Development) ▲디지털 트윈(Digital Twins) ▲자율권을 가진 에지(Empowered Edge) ▲몰입 경험(Immersive Experience) ▲블록체인(Blockchain) ▲스마트 공간(Smart Spaces) ▲디지털 윤리와 개인정보보호(Digital Ethics and Privacy) ▲양자 컴퓨팅(Quantum Computing)입니다. 


각 항목별 자세한 내용은 가트너 홈페이지를 참고해주시고, 

이번시간에는 ‘인공지능 주도 개발(AI-Driven Development)’에 대해서 한번 생각해보겠습니다.

 
 
 

 AI-Driven Development 

 

현재 대부분의 인공지능 개발은 데이터 과학자와 애플리케이션 개발자가 협력해서 만드는 것이라는 것, 알고 계시죠? 


이에 반해 인공지능 주도 개발은, AI 개발자를 투입해 이를 개선하는 것을 말합니다. 가트너는 2022년까지 애플리케이션 개발 팀 중 최소 40% 정도가 AI 기반 가상 개발자를 보유할 것으로 보았습니다. 또한, 이 시대에는 비전문가들이 AI 도구를 통해 코딩 없이 앱을 만드는 것이 흔해질 것이라고 전망하기도 했습니다.


이미 간단한 코딩은 AI가 할 수 있는 정도까지 왔는데요, 몇가지 예를 살펴보겠습니다.

 

 Auto Machine Learning

 

아마존, 구글 할 것 없이 모두 이 시장에 뛰어들었죠. 지난 10월 뉴스레터의 엑기스-새로운 시도, AutoML’ 코너에서도 다루었습니다.

<그림2 구글과 아마존의 Auto Machine Learning>
출처: 각 사 홈페이지

Auto Machine Learning은 기업간 자원 격차를 줄이고 모든 비즈니스에서 쉽게 AI를 사용할 수 있도록 돕는 서비스 입니다. 한마디로 머신러닝이 가능한 AI를 구축하는 AI인 것이지요. 이를 통해 머신러닝이나 코딩에 대한 전문적인 지식이 없어도 누구나 해당 분야의 특정한 필요에 맞게 강력한 머신러닝 모델을 확장해 활용할 수 있게 됩니다. 
 

 DeepCoder: Learning to Write Programs

 

DeepCoder는 MS와 캠브리지 대학이 공동 개발한 머신러닝 기반의 자동 코딩 기술입니다. 

 

<그림3>

출처: https://fossbytes.com/microsoft-ai-system-deepcoder/

 

MS는 DeepCoder를 통해 사람에게 아이디어만 있으면 AI가 자동으로 소스코드를 작성할 수 있도록 하는 것이 목표라고 합니다. DeepCoder는 현재 논문 수준이라 바로 적용하는 것은 어렵지만, 어느 정도 후에는 소프트웨어 개발 시장에 큰 영향력을 행사할 것으로 보입니다. 


DeepCoder 논문보기

 

 Bayou: AI To Help You Code

 
바이유는 스스로 프로그램을 작성할 수 있는 AI 응용 프로그램으로, 미국 라이스대학이 개발하였습니다.

<그림4 bayou>

출처: https://www.i-programmer.info/news/90-tools/11767-bayou-ai-to-help-you-code.html

 

바이유는 개발자가 몇 가지 키워드를 입력해 자바 코드에 엑세스 할 수 있도록 하여 소스코드 생산에 시간이 덜 소모되도록 합니다. 심지어 오픈소스로 공개되었는데요, 단지 몇 개의 키워드 만으로 프로그램을 만들 수 있다면 저도 프로그래밍에 도전해보고 싶네요.

 

AI시대에 걸맞게 개발분야에도 AI의 바람이 불고 있습니다. AI시대에 개발자가 걸어야 할 길을 생각해보아야 할 것 같은데요, 우려와 걱정보다는 AI시대에 적합한 접근법으로 인식 전환이 필요한 시기인 것 같습니다.



Reference
https://www.gartner.com/smarterwithgartner/gartner-top-10-strategic-technology-trends-for-2019/
https://www.microsoft.com/en-us/research/publication/deepcoder-learning-write-programs/ 
http://etinow.me/187
https://www.i-programmer.info/news/90-tools/11767-bayou-ai-to-help-you-code.html 
http://aitimes.co.kr/news/view/46815 




기획 및 글 | 사업기획팀 박예영