본문 바로가기
이.빅.스. | Flamingo의 오픈소스 안녕하세요. 이.빅.스 시리즈 여섯 번째 시간이자 마지막 시간입니다. 이번 편에서는 이.빅.스의 모니터링과 서비스 운영, 관리의 역할을 하고 있는 플라밍고에 사용된 오픈소스들을 소개하고자 합니다. 개발자 생태계에는 수많은 오픈소스가 존재합니다. 폐쇄적으로 개발해오던 예전과 달리 기업이나 개발자 개개인들이 자신의 프로젝트를 공개하고, 최신 기술 정보와 문제점을 공유함으로써 더 나은 개발 환경을 만들어 나가고 있습니다. 공개된 오픈 소스를 사용함으로써 새 소프트웨어를 개발하는데 드는 비용을 절감하고 검증된 소스를 통해 안정성 있는 서비스를 제공할 수 있는 환경이 되었습니다. 플라밍고 역시 수많은 오픈소스 라이브러리를 활용해 개발되었습니다. Vue.js 플라밍고는 프론트엔드 프레임워크로 Vue.js를 사용하고.. 2023. 8. 31.
이.빅.스 | 빅데이터 가치를 위한 데이터 시각화 안녕하세요. 이.빅.스 시리즈 어느덧 다섯 번째 시간입니다. 이번 편에서는 데이터 시각화에 대해 알아보겠습니다. 빅데이터를 시각화하기 위한 여러가지의 방법들이 있습니다. 먼저, 데이터 유형에 따라서 차트를 선택하고 목적에 맞게 시각화를 해야합니다. 위 그림과 같이 앤드루 아벨라가 고안한 목적에 따른 차트 선택 방법에는, 비교를 위한 차트는 막대 차트와 선 차트를 사용하며, 전체 데이터 중 특정 항목이 차지하는 비중을 보기 위한 구성을 위한 차트는 파이 차트, 시간에 따른 변화의 유무는 세로 칼럼 차트와 가로 칼럼 차트로 구분하여 사용할 수 있습니다. 위 지표는 엑셈에서 프로젝트를 수행한 서울시 인공지능 기반 빅데이터 서비스 플랫폼(2단계)에서 데이터를 시각화한 화면입니다. 데이터 타입에 맞게 유형별로 시.. 2023. 7. 25.
이.빅.스 | 기하급수적으로 수집되는 많은 양의 데이터는 어떻게 처리해야 할까? 안녕하세요. 네 번째 이.빅.스 입니다. HDFS, Amazon S3, Google Cloud Storage 등 다양한 스토리지가 발전하면서 정형 데이터는 물론 비정형 데이터까지 대량으로 수용할 수 있게 되었고, 많은 기업들이 이런 스토리지들을 활용하여 방대한 양의 데이터를 수집하고 데이터 레이크를 만들고 있습니다. 이번 달에는 이러한 대용량 데이터 레이크를 쿼리할 수 있는 쿼리 엔진인 Trino를 소개합니다. Trino는 하나 이상의 다양한 데이터 소스에 분산된 대규모 데이터 세트를 효율적으로 쿼리하도록 설계된 오픈 소스의 분산 SQL 쿼리 엔진입니다. Hive나 Pig처럼 MapReduce 작업의 파이프라인을 사용해 HDFS를 쿼리하는 도구의 대안으로 설계되었으나, 점차 확장되어 관계형 데이터베이스나.. 2023. 5. 25.
이.빅.스 | 실시간 데이터는 어떻게 활용할 수 있을까? 안녕하세요. 세 번째 이.빅.스 입니다. 이번 달은 실시간 데이터 활용에 대해서 알아볼게요. 실시간 데이터는 수집되는 즉시 사용할 수 있는 데이터로, 주로 우리에게 친숙한 환경에서 발생합니다. 스마트폰을 이용한 음악 듣기, SNS 게시물 공유, 그리고 Netflix, Youtube 등 영상 스트리밍 서비스를 이용한 시청 방식 또한 실시간 데이터를 활용한 대표적인 예라고 볼 수 있습니다. 이처럼 스트리밍이 가능하게 된 계기는, 네트워크 속도가 빨라지고 이 네트워크 성능을 받쳐 줄 하드웨어가 발전해 왔기 때문이겠죠? 그렇다면 실시간 데이터는 어떻게 만들어지고 관리되는 걸까요. 실시간 데이터는 인터넷 검색, 센서, 소셜 미디어, 모바일 기기 등 여러 소스를 통해 생성되고, 저장하는 방법 또한 다양합니다. 예를.. 2023. 3. 30.
이.빅.스 | 빅데이터는 왜 Hadoop에 저장해야 하는가? 안녕하세요. 두 번째 이.빅.스 입니다. “세계적 커피 브랜드 기업 S사의 위치, 교통 패턴, 지역 인구 통계 등의 데이터를 활용한 최상의 매장 입점 위치 분석”, “전자상거래 및 클라우드 웹 서비스 기업 A사의 사용자의 연령, 검색 기록, 취미 등에 기반한 주문 상품 예측” 4차 산업혁명 시대의 핵심 키워드인 “빅데이터”는 다섯가지의 특징으로 요약될 수 있습니다. 방대한 양(volume), 빠른 증가속도(velocity), 다양한 종류(variety)의 데이터로부터 가치를 추출하고 결과를 분석하는 기술을 뜻하며, 빅데이터를 통한 가치창출이 나날이 중요해짐에 따라 정확성(Veracity)과 가치(Value)도 중요해졌습니다. 위의 사례들이 그 대표적인 예입니다. 기업에서 흔히 말하는 “빅데이터를 도입한다.. 2023. 1. 19.
이.빅.스 l 이만큼 재미있는 빅데이터 스토리, 시작! 처음 뵙겠습니다, EBIGs 인사드립니다! 🙏🏻 이번달 부터 격월로 엑셈의 빅데이터 플랫폼인 EBIGs를 통해 빅데이터의 활용과 전처리, 시각화 등에 대해서 소개하려고 합니다. 가장 첫 시작은, 역시 자기소개를 드려야겠죠? EBIGs의 아키텍처와 주요기능에 대해 먼저 이야기해볼까 합니다. 기존에 널리 사용되었던 HDP, CDH가 합병 및 전면 유료화를 선언하면서 많은 부담을 느낀 기업들이 차츰 Apache Hadoop의 도입을 고민하게 되었죠. EBIGs는 이에 맞추어 비즈니스에 효율적으로 적용시킬 수 있는 Hadoop Eco System으로 구성하였으며, Hadoop Eco System의 운영관리, 보안 설정, 사용자 관리, 성능 모니터링 등의 다양한 기능을 제공하고 있답니다. 위 그림과 같이, EBI.. 2022. 10. 26.

티스토리툴바