본문 바로가기
KNIME | 잘 안 보이니까 시각화 해주세요! 이번 Part에서는 KNIME으로 데이터를 활용하는 방법 중 하나인 데이터 시각화를 알아보고자 해요! 데이터 시각화는 데이터를 그래프, 차트 등과 같이 시각적 요소를 활용해 나타내는 것을 뜻해요. 시각화를 통해 한 눈에 파악하기 어려운 정보를 보다 쉽게 이해할 수 있고, 데이터를 기반으로 실행 가능한 인사이트를 도출할 수 있어요. Part. 1 KNIME이라고 들어봤어요? (링크) Part. 2 데이터 처리는 알겠는데 전처리는 뭐예요? (링크) Part. 3 잘 안 보이니까 시각화 해주세요! Q1. 시각화라면 막대그래프, 선그래프 이런 것을 말하나요?? A1. 네! 맞아요! 질문처럼 아주 간단한 그래프부터 복잡한 그래프까지 아주 다양하게 있어요! 아래의 이미지를 참고해주세요! 최상단의 행부터 각각 Dis.. 2023. 2. 22.
KNIME | 데이터 처리는 알겠는데 전처리는 뭐예요? Part. 1에서는 KNIME에 대해 간략하게 설명해 드렸어요! 이번 시간에는 데이터 분석의 첫 단계인 데이터 전처리에 대해 말씀드릴게요. Part. 1 KNIME이라고 들어봤어요? (링크) Part. 2 데이터 전처리 Q1. 데이터도 알겠고, 처리도 알겠는데, 전처리는 뭔가요? A1. 전처리라는 용어는 말 그대로 ‘전’ + ‘처리’, 작업을 하기 전 원재료를 가공하는 것을 말해요. 영어로는 ‘preprocessing’ 이라고 하죠! 예를 들면, 데이터의 형태를 통일시켜야 할 때가 있어요! 왼쪽 생년월일을 보면 여러 형식으로 저장되어 있어요! 모든 방식이 날짜를 뜻하지만, 숫자의 길이도 다르고 숫자 사이를 구분하는 문자(‘-‘ 나 ‘/’)도 다르죠? 보기에도 힘들고, 컴퓨터조차 날짜로 인식하지 못해요. .. 2022. 11. 23.
엑셈 디자인 스토리 | EBIGs 로고를 소개합니다. 엑셈의 빅데이터 시스템 구축 및 운영을 위한 최적의 솔루션, EBIGs. 많은 고민과 시도를 거듭하면서 제품의 컨셉과 이미지를 잘 녹여낸 멋진 로고가 완성되었습니다. 지금부터 그 긴 여정을 소개합니다. MAIN CONCEPT 메인 컨셉을 어떻게 정의하느냐에 따라 디자인의 방향이 정해지기 때문에 가장 중요한 첫 단추라고 볼 수 있습니다. 또한 엑셈 기존 제품 로고들과도 결이 맞으면서, 제품의 중요한 컨셉 이미지가 드러나면 좋겠다는 관계부서의 의견도 반영해야 했기에, 디자인 시 고려사항이 많았습니다. 1) 제품의 중요 컨셉인 만큼 '하나의 패키지' 다운 느낌이 담겼으면 좋겠다. EBIGs는 빅데이터 시스템의 설치, 운영, Health Check & 모니터링, 튜닝 그리고 시스템 확장 등 빅데이터 운영 관리에.. 2022. 11. 18.
이.빅.스 l 이만큼 재미있는 빅데이터 스토리, 시작! 처음 뵙겠습니다, EBIGs 인사드립니다! 🙏🏻 이번달 부터 격월로 엑셈의 빅데이터 플랫폼인 EBIGs를 통해 빅데이터의 활용과 전처리, 시각화 등에 대해서 소개하려고 합니다. 가장 첫 시작은, 역시 자기소개를 드려야겠죠? EBIGs의 아키텍처와 주요기능에 대해 먼저 이야기해볼까 합니다. 기존에 널리 사용되었던 HDP, CDH가 합병 및 전면 유료화를 선언하면서 많은 부담을 느낀 기업들이 차츰 Apache Hadoop의 도입을 고민하게 되었죠. EBIGs는 이에 맞추어 비즈니스에 효율적으로 적용시킬 수 있는 Hadoop Eco System으로 구성하였으며, Hadoop Eco System의 운영관리, 보안 설정, 사용자 관리, 성능 모니터링 등의 다양한 기능을 제공하고 있답니다. 위 그림과 같이, EBI.. 2022. 10. 26.
엑셈 인사이트 | 플라밍고가 하둡 에코 시스템을 대하는 자세 클라우데라의 아파치 하둡(Apache Hadoop) 기반 모든 제품의 유료화 선언 이후, 빅데이터를 활용하는 기업과 기관들이 높은 금액의 라이선스 비용으로 인해 또 다른 대안을 마련하고 있다. (*인사이트 지난 편 : 오픈소스 하둡 관리도 역시, 엑셈 플라밍고) 실제로 엑셈은 경상북도청과 한국전력공사 ICT 대전센터 전력분야 재해복구시스템(DRS)에 아파치 하둡을 공급하고 이를 지원하는 빅데이터 통합 관리 솔루션 ‘플라밍고(Flamingo)’를 구축 중이다. 엑셈의 ‘플라밍고’는 빅데이터 수집부터 저장, 분석 및 하둡 에코 시스템 운영에 필요한 서버 상태 관리, 서비스 관리, 설정 관리 등을 손쉽게 활용할 수 있는 통합 관리 솔루션이다. 서비스 모니터링, 보유 데이터 브라우징, 데이터 정제/처리를 위한 .. 2022. 2. 23.
엑기스 | 빅데이터 플랫폼 NiFi의 구성과 활용 NiFi는 소프트웨어 시스템 간 데이터 흐름을 자동화하도록 설계된 아파치 소프트웨어 재단의 소프트웨어 프로젝트입니다. 과거 NSA에 의해 개발되었고, 2014년 기술 전송 프로그램의 일부로서 오픈소스화된 나이아가라파일즈(NiagaraFiles)에 기반을 두고 있습니다 NiFi는 Dataflow를 쉽게 개발할 수 있고, 시스템 간 데이터 이동 및 내용을 볼 수 있는 UI를 제공합니다. 실시간 데이터 전송에 필요한 기능을 제공하고, 여러 NiFi시스템 간 통신을 지원(site to site)합니다. 강력한 자원과 권한 관리를 통해 Multi-tenant를 지원합니다. 오픈소스로 사용 비용이 들지 않는다는 장점이 있습니다. NiFi는 실시간 데이터 처리에 유리하지만, 복잡한 연산이 어려워 spark 또는 st.. 2021. 7. 21.
엑셈 뉴스룸 | 대한민국 남쪽까지, 엑셈 남부사무소 오픈! 지난 7월 15일, 엑셈 남부사무소 이전 개소식이 열렸습니다. 위치는 바로 나주 빛가람 혁신도시! 왜 광주∙전남 공동혁신도시(나주 빛가람 혁신도시)인가요? 2017년 ‘KEPCO 빅데이터 통합 플랫폼 구축’ 사업 이후 엑셈이 다수 사업을 수행 중인 한전과 긴밀한 협력 관계를 유지하고 있는 한전KDN의 본사가 위치한 곳이기도 한 나주 빛가람 혁신도시는 에너지신산업 규제자유특구로 지정되었을 뿐 아니라, 최근 ‘에너지 밸리 조성 고도화 사업’을 본격 추진하고 있어 국내 에너지 신사업의 거점이 될 것으로 전망되고 있습니다. 또한 16개 주요 공공기관이 밀집되어 있어 빅데이터를 비롯한 엑셈 솔루션들의 다수 사업 기회가 예상됩니다. 엑셈은 남부사무소 개소를 발판으로 공공 에너지 시장 공략에 박차를 가할 예정인데요... 2021. 7. 21.
엑셈 인사이트 | AMI 데이터의 새로운 가치 창출, 엑셈 빅데이터가 해답! 지능형 전력망 시대 이끌 AMI 데이터 국내 전력사업은 기존 전력 수요 급증에 대비한 대규모 전력 설비 확충에서 합리적인 전력 소비를 위한 지능형 전력망 구축으로 변화하고 있다. 지능형 전력망은 지능형 검침 인프라(AMI, Advanced Metering Infrastructure, 이하 AMI), 에너지 저장 시스템(ESS, Energy Storage System), 에너지 관리 시스템(EMS, Energy Management System) 등으로 구성되며, 이 중에서 지능형 전력망 인프라의 핵심은 AMI이다. AMI란 가정 또는 사업장에 설치된 스마트 계량기를 통해 전력, 가스, 열 등의 에너지 사용량 데이터를 원격 검침기를 통해 실시간으로 측정하고, 사용 현황 분석을 자동으로 모니터링할 수 있는 기.. 2021. 4. 28.
에관공, '빅데이터'로 혈세 2500억 절감 에관공, '빅데이터'로 혈세 2500억 절감 한국에너지공단이 첨단 기술을 활용해 에너지 비용 절감에 나선다. 한국전력공사 전기·가스 이용 데이터와 5000개쯤의 에너지 다소비사업장에서 추출한 15억여건의 빅데이터를 분석할 수 있는 지능형 플랫폼을 통해서다. 기술을 활용해 다소비 사업장의 전력 사용 패턴을 비교‧분석한 후 절감 설비를 추천하고, 기술정보를 제공한다. 공단 측은 전력사용량을 1% 절감할 경우 연간 요금 2500억원쯤을 절감할 수 있다고 기대했다. 향후 전력 수급 계획 등 국가 에너지 정책에 분석 결과를 반영하고 사업장의 정부정책 이행여부도 모니터링해 추가적인 에너지 비용 절감도 가능하다고 예상했다. 한국에너지공단은 ‘빅데이터 기반 지능형 에너지관리시스템’을 통해 정적인 통계 데이터를 사용하던.. 2021. 1. 18.

티스토리툴바