본문 바로가기
궁금하면 드루와요 | Druid Tiering Part.4 Druid Tiering: 데이터가 조회되는 빈도 기준으로 데이터를 구분 Part.1 Apache Druid란(링크) Part.2 Druid Operator: 드루이드 오퍼레이터 도입으로 드루이드 설치부터 관리까지의 과정 개선 (링크) Part.3 Druid Tuning: 제한된 자원속에서 카프카 스트림으로부터 데이터 수집하는 기능(성능)의 최적화(링크) Part.4 Druid Tiering: 데이터가 조회되는 빈도 기준으로 데이터를 구분 Part.5 Druid without Middle Manager (MM less): k8s 리소스(파드)를 사용한 드루이드 태스크 관리 개선 이번 글에서는 Apache Druid의 티어링 시스템과 필요성을 알아보고, Druid에서 데이터 티어링을 설정하는 .. 2023. 12. 27.
궁금하면 드루와요 | Druid Tuning Part.3 Druid Tuning: 제한된 자원속에서 카프카 스트림으로부터 데이터 수집하는 기능(성능)의 최적화 Part.1 Apache Druid란 (링크) Part.2 Druid Operator: 드루이드 오퍼레이터 도입으로 드루이드 설치부터 관리까지의 과정 개선 (링크) Part.3 Druid Tuning: 제한된 자원속에서 카프카 스트림으로부터 데이터 수집하는 기능(성능)의 최적화 Part.4 Druid Tiering: 데이터가 조회되는 빈도 기준으로 데이터를 구분 Part.5 Druid without Middle Manager (MM less): k8s 리소스(파드)를 사용한 드루이드 태스크 관리 개선 Kafka로부터 데이터 수집 후 데이터 처리 방법 드루이드에서는 스트리밍 데이터와 배치성 데.. 2023. 11. 30.
Chapter 3-8. 비지도 학습 Chapter 3-8. 비지도 학습 대부분의 흔히 알고있는 머신러닝 알고리즘은 지도 학습 기반의 알고리즘입니다. 이는 이전 챕터들에서도 소개되었지만, 데이터에 정답(레이블)이 알고 있는 상태로 학습을 하는 방식입니다. 본 챕터에서는 지도 학습과 상반되는 비지도 학습이 무엇이며, 왜 필요한지 그리고 어떤 문제에 적용하여 사용할 수 있는지에 대해 알아보겠습니다. 현실 세계에서 우리가 다룰수 있는 대부분의 데이터들은 정답(레이블)이 없는 데이터입니다. 그렇다면 어떻게 대부분의 지도 학습에 적용될 수 있었을까요? 이는 사람이 직접 데이터에서 라벨링 처리 과정을 수행했기 때문입니다. 이는 굉장히 비효율적이고 사람이 직접 수행하다보니 실수도 발생할 수 있고 또 많은 비용들이 발생하게 됩니다. 그렇기때문에 라벨링 처.. 2023. 7. 26.
Chapter 3-2. 모델 훈련 Chapter 3-2. 모델 훈련 머신러닝 모델을 블랙박스로 취급하여도 모델을 훈련시키는 것은 가능하다. 하지만 훈련이 이루어지는 원리를 이해한다면 적절한 기법을 선택하여 훈련시간은 단축시키거나 모델의 성능을 높이는 것이 가능하다. 이번 장에서는 Chapter 3. 머신러닝에서 소개한 학습률, 비용 함수 등에 이어서 모델훈련에 필요한 몇 가지 개념을 다룬다. 경사 하강법 이전 장에서 언급한 것과 같이 비용 함수(Cost function)는 입력 데이터에 대한 오차를 계산하는 함수이다. 머신러닝에서는 오차를 줄이기 위해 다양한 최적화 알고리즘이 이용된다. 그 중에서 경사 하강법(Gradient Descent)은 가장 일반적인 최적화 알고리즘이다. 그림과 같이 비용 함수가 주어진 경우 경사 하강법은 파라미터.. 2023. 1. 19.
엑셈 뉴스룸 | 엑셈이 일하는 방식 ‘4P’ 제한된 인력과 리소스로 7개 제품군 19종의 SW을 출시하고, 500여개 레퍼런스를 지원할 수 있는 엑셈의 비결 은 무엇입니까? | 비결의 출발, ‘고객가치’와 ‘고객경험’을 정의한 경영철학 엑셈은 엔터프라이즈 패키지 소프트웨어 기업입니다. 모든 소프트웨어 기업이 그렇듯, 엑셈 역시 소프트웨어와 기술로서 고객의 Needs를 충족하고 Pain point를 해결하는 것을 최고의 미션으로 삼고 있습니다. 엑셈의 미션은 ‘고객가치’와 ‘고객경험’으로 정의될 수 있으며, 이러한 ‘고객가치’와 ‘고객경험'은 엑셈 비즈니스의 시작이자 끝이라고 할 수 있습니다. • Industry: 엑셈의 제품과 서비스는 산업의 혁신을 리드하며 표준이 되도록 한다. • Incorporation: 엑셈의 제품과 서비스로 고객의 비즈니스.. 2022. 5. 25.
월간기술동향 | '한국판 뉴딜'이라는 추진력 뉴딜(New Deal) 이란? 게임에서 카드를 바꿔 새로 친다는 뜻으로, 미국 제32대 대통령 루스벨트가 대공황으로 침체된 경제를 살리기 위해 추진했던 경제 부흥 정책을 말합니다. 정부가 적극적으로 각 부문에 개입하여 경제 문제를 해결하려 한다는게 뉴딜 정책의 가장 큰 특징입니다. 7년이라는 장기간에 걸쳐 진행된 뉴딜정책은 단순한 경제정책에 그치지 않고 정치·사회 전체에도 큰 영향을 끼쳐 미국의 전통적인 자유방임주의를 수정하게 되었으며, 미국 경제정책의 틀을 만들고 도약의 기반을 마련했다는 역사적 의의가 있습니다. 한국판 뉴딜은? 한국판 뉴딜 정책은 경제 디지털화 가속과 비대면화 촉진 등에 중점을 두어 디지털 경제 혁신과 동시에 지속가능한 일자리를 창출하는 것을 목표로 하고 있습니다. 아래 3대 영역 프.. 2020. 5. 15.
엑쓸신잡 | 직장인을 위한 뉴스레터 추천(1) 직장인을 위한 뉴스레터 추천 ※ 각 뉴스레터 로고를 클릭하면, 구독 페이지로 이동합니다.뉴스레터 소개 참고 : 각 뉴스레터 홈페이지 뉴닉 (시사)매주 월, 수, 금 아침 '우리가 시간이 없지, 세상이 안 궁금하냐!’ 밀레니얼을 위한 시사 뉴스레터. 시사 전반에 대한 소식을 전해준다. 귀여운 고슴도치 고슴이가 마스코트! 보다 (시사)매주 월, 수, 금 아침 짧지만 똑똑한 시사 뉴스레터. 시사 이슈를 정리해서 보내주기에 뉴닉과 비슷한 듯 하지만 조금 더 브리프하다. COFFEEPOT (비즈니스)매주 화, 금 아침 해외 비즈니스 뉴스를 쉽게 정리한 뉴스레터. 퀄리티가 매우 좋은데, 개인이 운영하는 뉴스레터라고! Weekly 똑똑 (시사, 경제)매주 금요일 오후 중앙일보의 팟캐스트 듣똑라(듣기만 해도 똑똑해지는.. 2020. 4. 3.
엑셈 뉴스룸 | 엑셈의 모든 비즈니스를 소개합니다! 회사부터 제품, 서비스까지 “엑셈의 모든 것을 소개하는 통합 브로슈어”가 탄생하였습니다.약 3개월 간 무수히 많은 사랑과 열정, 고민을 담아 드디어 완성이 되었는데요.어떻게 탄생하게 되었는지 그 스토리를 풀어보고자 합니다. 제작 계기 엑셈의 회사소개서와 제품별 소개서는 매년 업데이트를 하며 활용해 오고 있었습니다.고객분들과 만날 때마다, 또 전시회에 참가할 때마다 소개자료를 보여드리면깔끔하고 보기 좋다고 하시는 분들이 많아 무척 뿌듯하고 자부심이 생기곤 했는데요. 😊 하지만 점차 엑셈의 비즈니스 영역이 확장되고 제품 라인업이 다양해지면서 새로운 고민이 생겼습니다. 우리는 데이터베이스, 애플리케이션, 빅데이터, 인공지능, 클라우드 영역으로 사업을 확장해오며 보유하고 있는 솔루션도 무려 8개(MaxGauge.. 2020. 3. 3.
엑쓸신잡 | 볼수록 유익한 IT 미디어 추천 이번 엑쓸신잡에서는 빠르게 변화하는 IT 업계 소식을 전해주는 미디어 매체들을 모아봤습니다.※ 각 미디어의 로고를 클릭하면 홈페이지로 이동합니다. 데이터넷은 IT 분야의 기사 뿐만 아니라 기획 특집이나 기술, 제품가이드 코너를 통해 기업과 제품의 정보를 찾아볼 수 있습니다. 또한 연간 4~5회 정도의 자체 세미나를 개최하여 현업 담당자들에게 신기술을 소개하고 트렌드를 전하고 있으며, 다양한 컨퍼런스도 주최하고 있습니다. 디지털데일리는 전문 기자 제도를 운영하고 있어 기사의 깊이와 통찰력 측면에서 돋보이는 매체인데요.C&C(Computer&Communication) 분야를 중심으로 심층적인 분석과 해설, 논평 등을 찾아볼 수 있습니다.그리고 회원제 방식의 프리미엄 뉴스인 'S리포트'를 통해 최신 IT 이슈.. 2020. 2. 5.