[데이터 분석] Metatron Discovery란? (개념, 특징, 아키텍처, 구성)

 

Metatron Discovery는 대규모 데이터셋에 대한 분석과 시각화를 용이하게 만들어주는 오픈 소스 분석 플랫폼입니다. 이 플랫폼은 특히 실시간 데이터 분석과 대규모 데이터셋에 대한 빠른 쿼리 응답 시간을 제공하기 위해 Druid 위에 구축되었습니다. Druid는 대규모 실시간 분석을 위해 최적화된 분산형, 컬럼 기반 데이터베이스입니다.

 

OLAP, 시각화, 머신러닝 기술이 융합하여 비전문가도 데이터로부터 상위 레벨의 가치를 빠르고 손쉽게 얻을 수 있는 4세대 OLAP 기반 Business Intelligence (BI) 솔루션입니다.

 

 

*OLAP (Online Analytical Processing)?

대량의 데이터에서 다차원적인 분석을 실시간으로 수행할 수 있게 하는 기술입니다. 기업의 의사 결정 과정에서 중요한 역할을 하는 데이터 분석 방식 중 하나로, 데이터를 다양한 관점에서 빠르고 유연하게 조회하고 분석할 수 있습니다. OLAP는 복잡한 쿼리와 연산을 통해 대량의 데이터에서 의미 있는 정보를 추출하는 데 특화되어 있으며, 사용자가 데이터를 다양한 차원에서 조합하여 분석할 수 있게 해 줍니다.

 

1. 다차원적 분석: OLAP는 데이터를 다차원적으로 조직화하여 관리합니다. 이를 통해 사용자는 데이터를 여러 각도에서 분석하고, 다양한 차원의 조합을 통해 깊이 있는 인사이트를 얻을 수 있습니다.

2. 실시간 분석: 대량의 데이터에 대해 빠른 쿼리 실행을 통해 실시간 분석을 제공합니다. 이는 기업이 신속한 의사 결정을 할 수 있게 돕습니다.

3. 사용자 친화적: OLAP 도구는 비전문가도 쉽게 사용할 수 있는 직관적인 인터페이스를 제공합니다. 복잡한 데이터베이스 쿼리나 프로그래밍 지식 없이도 데이터 분석이 가능합니다.

4. 유연성: 사용자는 데이터를 다양한 방식으로 조회하고 분석할 수 있으며, 필요에 따라 쉽게 보고서를 생성하고 공유할 수 있습니다.

 

OLAP는 데이터 웨어하우스 환경에서 주로 사용되며, 재무 보고, 시장분석, 재고 관리, 영업 분석 등 다양한 영역에서 활용됩니다.

특징

• 대규모 데이터 처리 및 분석: Metatron Discovery는 대용량 데이터를 효율적으로 처리하고 분석할 수 있는 강력한 기능을 제공합니다. 이는 비즈니스 인텔리전스, 데이터 분석, 머신 러닝 등 다양한 분야에서 유용하게 활용될 수 있습니다.
• 실시간 분석 기능: 실시간 데이터 스트림을 분석하고 대시보드를 통해 실시간으로 시각화할 수 있습니다. 이는 사용자가 실시간으로 데이터 변화를 모니터링하고 즉각적인 의사결정을 내릴 수 있도록 돕습니다.
• 다양한 데이터 소스 연결: Metatron Discovery는 다양한 데이터 소스에 연결할 수 있는 기능을 제공합니다. 이는 데이터베이스, 파일, 웹 서비스 등 다양한 소스에서 데이터를 수집하고 통합할 수 있음을 의미합니다.
• 사용자 친화적인 인터페이스: 복잡한 쿼리나 프로그래밍 없이도 사용자가 데이터를 쉽게 분석하고 시각화할 수 있는 직관적인 사용자 인터페이스를 제공합니다. 이를 통해 사용자는 다양한 차트, 그래프, 대시보드를 생성하여 데이터를 직관적으로 이해할 수 있습니다.
• 확장성: Metatron Discovery는 클라우드 환경이나 대규모 분산 환경에서도 효과적으로 확장할 수 있는 설계가 되어 있습니다. 이는 빅 데이터 분석 작업을 수행할 때 필수적인 특성입니다.
• 오픈 소스: Metatron Discovery는 오픈 소스 프로젝트로서, 개발자들은 소스 코드에 접근하여 필요에 따라 커스터마이즈하고 기여할 수 있습니다. 이는 기업이나 개발자가 자신의 요구 사항에 맞게 시스템을 수정하고 확장할 수 있도록 합니다.

 

 

4세대 BI 솔루션

현재 BI 시장은 2세대, 3세대 제품이 주류를 이루고 있으며, 4세대 제품이 주목받고 있습니다. Metatron Discovery는 4세대 BI 솔루션으로서, Self & Ad-hoc Discovery를 지향하며 빅데이터에 대해서도 빠른 응답 속도를 보장합니다.

 

Big OLAP 기반

Metatron Discovery는 대용량 Fact 데이터를 기준으로 다양한 차원 데이터를 결합하여 하나의 Big OLAP Cube(Mart)를 생성할 수 있습니다.

장점

• 데이터 마트의 개수를 최소화할 수 있습니다.
  • 데이터 마트 생성을 위한 ETL 비용이 감소됩니다.
  • 구조 변경에 따른 영향도를 최소화할 수 있습니다.
  • Fact 데이터를 모두 저장하므로, 다양한 요구사항에 대응이 가능합니다.
• 분산 아키텍처 기반으로 큰 규모의 데이터도 저장 가능하며, 빠른 속도로 결과 출력이 가능합니다.
• Dynamic 스키마 채용으로 스키마 변경 시에도 별도의 스키마 재정의가 필요하지 않습니다.
• 실시간 처리 테이블을 원본 그대로 저장하므로 레코드 단위의 실시간 처리가 가능합니다.

Architecture

 

구성

 

• 드루이드(Druid): Metatron Discovery의 핵심 데이터 저장 및 분석 엔진으로, 실시간 데이터 처리와 대규모 분산 데이터 분석을 지원합니다. Druid는 고성능의 OLAP 기능을 제공하여, 대용량 데이터셋에서 빠른 쿼리 응답 속도와 실시간 분석을 가능하게 합니다. 
• 워크벤치(Workbench): 사용자가 SQL 쿼리를 사용하여 데이터를 직접 분석하고 시각화할 수 있는 대화형 분석 환경입니다. 데이터 과학자나 분석가가 복잡한 데이터 분석 작업을 손쉽게 수행할 수 있도록 설계되었습니다.
• 대시보드(Dashboard): 사용자가 분석 결과를 다양한 차트, 그래프, 지도 등의 시각적 형태로 쉽게 만들고 공유할 수 있는 기능을 제공합니다. 인터랙티브한 대시보드를 통해, 복잡한 데이터셋을 직관적으로 이해하고 발표할 수 있습니다.
• 데이터 준비(Data Preparation): 데이터를 분석하기 전에 정제, 변환, 통합하는 과정을 지원합니다. 사용자는 원시 데이터를 쉽게 가공하여 분석에 적합한 형태로 만들 수 있으며, 이 과정은 대부분의 데이터 분석 프로젝트에서 필수적인 단계입니다.
• 데이터 커넥션(Data Connection): Metatron Discovery는 다양한 데이터 소스에 연결할 수 있는 기능을 지원합니다. 데이터베이스, 파일 시스템, 클라우드 저장소 등 다양한 형태의 데이터 소스로부터 데이터를 가져올 수 있어, 통합된 데이터 분석 환경을 제공합니다.
• 데이터 보안 및 관리(Security and Governance): 데이터 보안과 관리 기능도 제공하여, 사용자 권한 관리, 데이터 접근 제어 등을 통해 안전하게 데이터를 관리하고 분석할 수 있습니다.

 

오늘은 BI솔루션인 Metatron Discovery에 대해서 알아보았습니다.

CS 기술 관련해서도 많은 도움이 되니 참고 부탁드립니다!

2024.04.09 - [IT] - [기술 면접] CS 기술 면접 질문&답변

[기술 면접] CS 기술 면접 질문&답변