데이터 웨어하우스(Data Warehouse, DW)에 대해 알아보겠습니다.

Ⅰ. 데이터 웨어하우스(Data Warehouse, DW)란?

 대규모 데이터를 체계적으로 저장하고 분석하기 위한 시스템입니다. 조직의 의사결정을 지원하기 위해 설계된 데이터 관리 기술로, 데이터를 다양한 소스에서 통합하여 분석 작업에 최적화된 방식으로 저장합니다.
 기업의 여러 시스템에서 생성된 데이터를 통합, 저장, 관리하여 분석과 보고에 적합하게 설계된 중앙 저장소입니다.
운영 데이터베이스(OLTP)와는 달리 온라인 분석 처리(OLAP)를 위해 최적화되어 있습니다.

Ⅱ. 데이터 웨어하우스(Data Warehouse, DW) 주요 특징

 ⅰ. 주제 중심적(Subject-Oriented)
   : 특정 비즈니스 주제(예: 판매, 고객, 재고)를 중심으로 데이터를 구성합니다.
 ⅱ. 통합적(Integrated)
   : 여러 소스에서 데이터를 가져와 통합합니다. 서로 다른 데이터 형식이나 구조를 표준화하여 일관성을 유지합니다.
 ⅲ. 시간 가변적(Time-Variant)
   : 시간 축을 기준으로 데이터를 저장하여 과거와 현재를 비교 분석할 수 있습니다.
 ⅳ. 비휘발성(Non-Volatile)
   : 한 번 저장된 데이터는 수정되지 않고, 추가적인 분석 작업을 위해 보존됩니다.

Ⅲ. 데이터 웨어하우스(Data Warehouse, DW) 구축 방법론

데이터 웨어하우스 구축은 데이터를 수집, 정제, 통합하여 분석 가능한 구조로 만드는 과정을 포함합니다. 

요구사항 분석	1) 비즈니스 요구사항 식별 조직이 해결하고자 하는 문제(예: 매출 분석, 고객 세분화)를 정의. 데이터를 활용하여 어떤 인사이트를 얻을 것인지 구체화. 2) 데이터 소스 식별 기존 운영 시스템(ERP, CRM, POS 등)과 외부 데이터 소스를 확인.
데이터 모델링	1) 개념적 데이터 모델링 : 데이터를 고수준에서 시각화하여 주요 엔터티와 관계를 정의. 2) 논리적 데이터 모델링 : 데이터 속성, 키(Key), 관계를 상세히 설계. 3) 물리적 데이터 모델링 : 데이터베이스 구조 설계(SQL 스키마 설계 등).
ETL 프로세스 설계	1) 데이터 추출 (Extract) : 다양한 소스(관계형 DB, NoSQL, API 등)에서 데이터를 수집. 2) 데이터 변환 (Transform) : 데이터 정제, 표준화, 중복 제거, 집계 등의 작업 수행. 3) 데이터 적재 (Load) : 데이터 웨어하우스에 데이터를 로드(배치 처리 또는 실시간 처리).
데이터 웨어하우스 설계	1) 스키마 설계 : 분석 작업에 최적화된 데이터베이스 구조 설계. 주요 스키마 유형: 스타 스키마: 중앙 팩트 테이블과 여러 디멘션 테이블로 구성. 스노우플레이크 스키마: 디멘션 테이블이 다차원으로 확장된 구조. 2) 인덱스와 파티셔닝 : 성능 최적화를 위해 인덱스와 데이터 파티션 정의.
OLAP 구성 및 BI 도구 통합	1) OLAP 엔진 설정 : 데이터 큐브를 생성하여 다차원 분석을 지원. 2) BI 도구 연동 : Tableau, Power BI, Looker 등으로 데이터 시각화 환경 구축.
테스트 및 배포	1) 성능 테스트 : 데이터 로드 속도, 쿼리 응답 시간, 병렬 처리 성능 확인. 2) 사용자 피드백 : 초기 사용자(분석가, 경영진)로부터 개선 사항을 수집.
운영 및 유지보수	1) 데이터 품질 관리 : 데이터 정합성 및 최신성을 유지. 2) 확장 관리 : 데이터 증가와 비즈니스 요구사항 변화에 따라 DW를 확장.

Ⅳ. 데이터 웨어하우스(Data Warehouse, DW) 구성 요소

 ⅰ.  ETL(Extract, Transform, Load) : 데이터를 추출, 변환, 적재하는 과정.
     1) Extract(추출): 소스 시스템(ERP, CRM 등)에서 데이터를 추출.
     2) Transform(변환): 데이터 정제, 표준화, 요약 등 변환 작업.
     3) Load(적재): 변환된 데이터를 데이터 웨어하우스에 저장.
 ⅱ. 데이터 웨어하우스 저장소
데이터가 실제로 저장되는 곳. 분석과 쿼리를 효율적으로 수행하기 위해 최적화된 구조를 가집니다.
 ⅲ.  OLAP(Online Analytical Processing) 엔진
다차원 분석을 지원하여 데이터를 다양한 각도에서 조회할 수 있게 합니다.
예: 피벗 테이블, 드릴다운/롤업 분석.
 ⅳ.  사용자 인터페이스 및 도구
비즈니스 인텔리전스(BI) 도구를 통해 사용자가 데이터를 시각화하고 보고서를 생성합니다.
예: Tableau, Power BI, QlikView.

Ⅴ. 데이터 웨어하우스(Data Warehouse, DW) 데이터 처리 방식

 ⅰ. 정적 데이터 처리(배치 처리)
    1) 데이터는 주기적으로(일별, 주별) 웨어하우스에 로드됩니다.
    2) 데이터 소스의 최신 데이터가 필요하지 않은 분석 작업에 적합.
 ⅱ. 실시간 데이터 처리
    1) 데이터가 생성됨과 동시에 웨어하우스로 전송됩니다.
    2) 실시간 의사결정을 지원하는 애플리케이션에 유용.

Ⅵ. Data Warehouse와 Data Lake의 차이

특징	Data Warehouse	Data Lake
데이터 유형	정형 데이터(구조화된 데이터)	정형, 비정형, 반정형 데이터 모두
설계 목적	분석 및 의사결정 지원	데이터 저장 및 처리 목적 다양
데이터 처리	ETL(미리 변환 후 로드)	ELT(로드 후 변환)
스토리지 비용	상대적으로 높음	상대적으로 낮음
속도	빠르고 최적화된 분석	처리 속도는 데이터 유형에 따라 다름

Ⅶ. 데이터 웨어하우스(Data Warehouse, DW) 장점

 ⅰ. 데이터 통합
    : 여러 소스에서 데이터를 가져와 일관성 있게 관리.
 ⅱ. 효율적인 분석
    : OLAP 엔진을 사용하여 대규모 데이터에 대한 빠른 분석 지원.
 ⅲ. 의사결정 지원
    : 과거 데이터를 기반으로 트렌드 분석 및 예측 가능.
 ⅳ. 확장성
    : 기업의 데이터 증가에 따라 확장 가능.

Ⅷ. 데이터 웨어하우스(Data Warehouse, DW) 한계

 ⅰ. 구축 비용 

   : 초기 구축과 유지 비용이 높음.
 ⅱ. 구조적 유연성 부족 :

    : 사전에 정의된 데이터 모델로 인해 변경이 어렵고, 비정형 데이터 처리에 제약.
 ⅲ. 실시간 처리의 한계
    : 대부분 배치 처리 방식으로 동작하므로, 실시간 데이터 요구를 충족하기 어려움.

Ⅸ. 데이터 웨어하우스(Data Warehouse, DW) 사용 사례

 ⅰ. 판매 및 마케팅 분석 : 판매 트렌드, 고객 행동 분석.
 ⅱ. 금융 및 보험 : 거래 기록 분석, 사기 탐지.
 ⅲ. 공급망 관리 : 재고 및 물류 데이터 분석.
 ⅳ. 건강관리 : 환자 데이터 분석 및 의료 서비스 개선.