-
플라밍고 | 빅데이터 성능관리 솔루션, 플라밍고기술이야기/엑.기.스 2018. 8. 9. 10:20
다양한 빅데이터 분석 환경에서 시스템 운영자 및 분석가는 시스템 성능 관리에 큰 어려움을 겪고 있습니다.
서버 중단 시 인지하기 조차 힘든 Scale Out 및 HA 특성을 가진 빅데이터 분석 환경을
보다 투명하게 관리할 수 있는 통합된 솔루션이 필요하죠.
바로 엑셈의 Flamingo 입니다!
빅데이터 성능 관리 솔루션 플라밍고가 업데이트 되었다고 하는데요, 함께 알아봅시다 :)
1. 제품 개요
Flamingo는 빅데이터 플랫폼인 하둡 클러스터의 통합 관리 솔루션으로,
하둡과 에코 시스템의 실시간 서비스 감시 및 주요 성능 지표의 수집, 진단 및 모니터링, 데이터 처리를 위한 워크플로우 작성,
데이터 분석 지원까지 이르는 하둡 시스템의 가용성 및 성능의 관리를 효율적으로 수행할 수 있도록 지원합니다.
2. 제품 특징2.1 Realtime Monitoring- Hadoop과 EcoSystem에 최적화된 다양한 성능 지표의 실시간 감시- 지원 Hadoop Ecosystems(1) Hadoop Core Server(2) Apache Spark(3) Apache Hive(4) HDFS(5) Apache Oozie(6) Zookeeper(7) HBase(8) Cluster Servers2.2 Workflow- 작성하기 어려운 워크플로우를 간단히 작성하고 손쉽게 테스트할 수 있는 환경 지원- workflow지원 형식(1) Workflow (Designer & Monitoring)(2) Apache Oozie workflow (Designer & Manager & Monitoring)2.3 Data Analysis- 다양한 빅데이터 환경에서 필요한 정보 도출을 위한 분석 환경 지원- 지원 방식(1) Notebook(R/python 등)(2) Hive, HBase Editor(3) R-Studio 연계 지원2.4 Security- 설정하기 어려운 Hadoop과 Ecosystems의 보안 및 권한레벨까지의 설정까지 쉽게 할 수 있도록 지원- 지원 Ecosystems(1) HBase(2) Hive(3) Kafka(4) Solr(5) NiFi(6) Yarn(7) HDFS3. 제품 스펙
구분
내용
비고
OS
Linux Kernel 2.6 이상
CentOS 6 이상
Database
PostgreSQL 9.2 이상
UTF-8 Character Set
Oozie 모니터링은 현재 PostgreSQL만 지원CPU
8Core 이상
Memory
16G 이상
Java
JDK 1.8 이상
Hortonworks HDP
Hortonworks HDP 2.4 이상
상세 기능 지원 여부는 확인 필요
Cloudera CDH
Cloudera CDH 5.4 이상
상세 기능 지원 여부는 확인 필요
Apache Hadoop
Apache Hadoop 2.3 이상
Web Browser
Internet Explorer 10+, Google Chrome, Safari, Firefox
Chrome 사용을 권장함
제품 권장 해상도
1440 X 900 이상
기타
Jupyter notebook의 SSL 기능 사용을 위해서는 URL
도메인 및 유료 인증서를 확보한 사이트만 적용 가능URL 도메인 및 유료 인증서를 확보하지 못한
사이트에서는 HTTP 방식으로만 세팅 가능4. 업데이트 내용
4.1 Apache oozie 지원 기능 향상
- Apache ecosystem 중 workflow scheduler system인 oozie를 손쉽게 사용할 수 있는 기능 대거 추가
- oozie workflow designer : oozie의 workflow를 GUI 기반으로 손쉽게 만들고 테스트 할 수 있는 디자이너 기능
- oozie coordinator designer : oozie의 coordiantor를 GUI 기반으로 손쉽게 만들고 테스트 할 수 있는 디자이너 기능
- oozie bundle manager : oozie의 bundle을 GUI 기반으로 손쉽게 만들고 테스트 할 수 있는 관리자 기능
4.2 Security 기능 추가
- Hadoop과 Ecosystem들의 보안을 손쉽게 설정하고 권한 레벨까지 설정할 수 있는 기능 추가 (Ranger 기반)
- 지원 Ecosystems
(1) HBase
(2) Hive
(3) Kafka
(4) Solr
(5) NiFi
(6) Yarn
(7) HDFS
<policy 관리 화면>
<audit 화면>
<보안 관련 세팅 화면>
앞으로도 계속 발전해 나갈 Flamingo 많은 기대와 응원 부탁드립니다.^^
플라밍고 파이팅 :)
기고 | 빅데이터개발팀 한현우
편집 | 사업기획팀 박예영
