본문 바로가기
이.빅.스 | 실시간 데이터는 어떻게 활용할 수 있을까? 안녕하세요. 세 번째 이.빅.스 입니다. 이번 달은 실시간 데이터 활용에 대해서 알아볼게요. 실시간 데이터는 수집되는 즉시 사용할 수 있는 데이터로, 주로 우리에게 친숙한 환경에서 발생합니다. 스마트폰을 이용한 음악 듣기, SNS 게시물 공유, 그리고 Netflix, Youtube 등 영상 스트리밍 서비스를 이용한 시청 방식 또한 실시간 데이터를 활용한 대표적인 예라고 볼 수 있습니다. 이처럼 스트리밍이 가능하게 된 계기는, 네트워크 속도가 빨라지고 이 네트워크 성능을 받쳐 줄 하드웨어가 발전해 왔기 때문이겠죠? 그렇다면 실시간 데이터는 어떻게 만들어지고 관리되는 걸까요. 실시간 데이터는 인터넷 검색, 센서, 소셜 미디어, 모바일 기기 등 여러 소스를 통해 생성되고, 저장하는 방법 또한 다양합니다. 예를.. 2023. 3. 30.
이.빅.스 | 빅데이터는 왜 Hadoop에 저장해야 하는가? 안녕하세요. 두 번째 이.빅.스 입니다. “세계적 커피 브랜드 기업 S사의 위치, 교통 패턴, 지역 인구 통계 등의 데이터를 활용한 최상의 매장 입점 위치 분석”, “전자상거래 및 클라우드 웹 서비스 기업 A사의 사용자의 연령, 검색 기록, 취미 등에 기반한 주문 상품 예측” 4차 산업혁명 시대의 핵심 키워드인 “빅데이터”는 다섯가지의 특징으로 요약될 수 있습니다. 방대한 양(volume), 빠른 증가속도(velocity), 다양한 종류(variety)의 데이터로부터 가치를 추출하고 결과를 분석하는 기술을 뜻하며, 빅데이터를 통한 가치창출이 나날이 중요해짐에 따라 정확성(Veracity)과 가치(Value)도 중요해졌습니다. 위의 사례들이 그 대표적인 예입니다. 기업에서 흔히 말하는 “빅데이터를 도입한다.. 2023. 1. 19.
엑셈 디자인 스토리 | EBIGs 로고를 소개합니다. 엑셈의 빅데이터 시스템 구축 및 운영을 위한 최적의 솔루션, EBIGs. 많은 고민과 시도를 거듭하면서 제품의 컨셉과 이미지를 잘 녹여낸 멋진 로고가 완성되었습니다. 지금부터 그 긴 여정을 소개합니다. MAIN CONCEPT 메인 컨셉을 어떻게 정의하느냐에 따라 디자인의 방향이 정해지기 때문에 가장 중요한 첫 단추라고 볼 수 있습니다. 또한 엑셈 기존 제품 로고들과도 결이 맞으면서, 제품의 중요한 컨셉 이미지가 드러나면 좋겠다는 관계부서의 의견도 반영해야 했기에, 디자인 시 고려사항이 많았습니다. 1) 제품의 중요 컨셉인 만큼 '하나의 패키지' 다운 느낌이 담겼으면 좋겠다. EBIGs는 빅데이터 시스템의 설치, 운영, Health Check & 모니터링, 튜닝 그리고 시스템 확장 등 빅데이터 운영 관리에.. 2022. 11. 18.
이.빅.스 l 이만큼 재미있는 빅데이터 스토리, 시작! 처음 뵙겠습니다, EBIGs 인사드립니다! 🙏🏻 이번달 부터 격월로 엑셈의 빅데이터 플랫폼인 EBIGs를 통해 빅데이터의 활용과 전처리, 시각화 등에 대해서 소개하려고 합니다. 가장 첫 시작은, 역시 자기소개를 드려야겠죠? EBIGs의 아키텍처와 주요기능에 대해 먼저 이야기해볼까 합니다. 기존에 널리 사용되었던 HDP, CDH가 합병 및 전면 유료화를 선언하면서 많은 부담을 느낀 기업들이 차츰 Apache Hadoop의 도입을 고민하게 되었죠. EBIGs는 이에 맞추어 비즈니스에 효율적으로 적용시킬 수 있는 Hadoop Eco System으로 구성하였으며, Hadoop Eco System의 운영관리, 보안 설정, 사용자 관리, 성능 모니터링 등의 다양한 기능을 제공하고 있답니다. 위 그림과 같이, EBI.. 2022. 10. 26.
플라밍고 | 빅데이터 성능관리 솔루션, 플라밍고 다양한 빅데이터 분석 환경에서 시스템 운영자 및 분석가는 시스템 성능 관리에 큰 어려움을 겪고 있습니다.서버 중단 시 인지하기 조차 힘든 Scale Out 및 HA 특성을 가진 빅데이터 분석 환경을 보다 투명하게 관리할 수 있는 통합된 솔루션이 필요하죠. 바로 엑셈의 Flamingo 입니다! 빅데이터 성능 관리 솔루션 플라밍고가 업데이트 되었다고 하는데요, 함께 알아봅시다 :) 1. 제품 개요Flamingo는 빅데이터 플랫폼인 하둡 클러스터의 통합 관리 솔루션으로, 하둡과 에코 시스템의 실시간 서비스 감시 및 주요 성능 지표의 수집, 진단 및 모니터링, 데이터 처리를 위한 워크플로우 작성, 데이터 분석 지원까지 이르는 하둡 시스템의 가용성 및 성능의 관리를 효율적으로 수행할 수 있도록 지원합니다. 2. .. 2018. 8. 9.

티스토리툴바