반응형 datalake4 Iceberg·Hudi·Delta 분열을 끝낸 메타데이터 변환기, Apache XTable Ⅰ. XTable 기술이란?레이크하우스를 1년쯤 굴리면 거의 모든 팀이 같은 결정에 부딪힙니다. "우리는 Iceberg로 갈까, Hudi로 갈까, Delta로 갈까?" 한 포맷을 고르면 어떤 엔진이 손해 봅니다. 현실은 다음과 같습니다. 엔진 선호 포맷 현실적인 결과 Snowflake / BigQuery / TrinoApache Iceberg 1급분석·쿼리 엔진은 거의 Iceberg로 수렴Databricks / Spark PhotonDelta Lake 1급ETL·ML 파이프라인은 Delta가 최상Flink / 실시간 CDCApache Hudi 1급스트리밍 UPSERT·인덱스는 Hudi가 가장 성숙같은 데이터를 모두에서3중 복제 / dual-write스토리지 3배, 일관성 깨짐, 새벽 호출그래서 팀들은 .. 2026. 6. 29. 실시간 업데이트가 가능한 데이터 레이크하우스의 표준, Apache Hudi 분석 Ⅰ. Apache Hudi 기술이란? 전통적인 데이터 레이크(HDFS, S3 등 객체 스토리지)는 Parquet, ORC와 같은 컬럼형 파일을 단순히 쌓아두는 구조로 설계되었습니다.이러한 구조는 대규모 배치 분석에는 강하지만, 다음과 같은 명확한 한계를 가지고 있습니다. ⅰ. Update / Delete 의 어려움 → 한 건의 행을 수정하려면 파일 전체를 다시 써야 함 (Immutable File System) ⅱ. 실시간성 부재 → 변경 데이터(CDC)를 반영하려면 매번 전체 테이블을 재작성해야 함 ⅲ. 트랜잭션 부재 → 동시에 쓰기/읽기가 일어나면 데이터 정합성을 보장할 수 없음 ⅳ. 작은 파일 문제(Small File Problem) → 스트리밍 적재 시 수많은 작은 파일이 생성되어 쿼리 성능 저하.. 2026. 5. 13. 왜 PrestoSQL이 Trino가 되었을까? 특징부터 기본 실행까지 총 정리 Ⅰ. Trino 란? Trino (구 PrestoSQL) 는 페이스북에서 개발한 오픈소스 분산 SQL 쿼리 엔진입니다. 핵심 철학은 단 하나 데이터를 옮기지 않고 그 자리에서 바로 쿼리한다는 것입니다. S3, HDFS, MySQL, PostgreSQL, Kafka, Hive 등 어떤 저장소에 있든 표준 SQL로 즉시 분석할 수 있습니다. 이를 Federated Query(연합 쿼리)라고 부릅니다. ETL로 데이터를 한 곳에 모으는 기존 방식과 달리, Trino는 여러 데이터 소스를 하나의 SQL 문으로 동시에 JOIN할 수 있습니다. 기존 방식(ETL 파이프라인) Trino 방식 (Federated Query)데이터를 중앙으로 이동 후 분석데이터 이동 없이 원본에서 직접 쿼리이동 시간 + 스토리지 비용 .. 2026. 4. 30. 데이터 늪(Data Swamp)에 대해 알아보겠습니다. Ⅰ. 데이터 늪(Data Swamp) 등장배경 데이터 레이크(Data Lake)는 본래 매우 이상적인 개념에서 출발했습니다. 정형·비정형 데이터를 가공하지 않은 원형 그대로 한곳에 모아두고, 필요할 때 자유롭게 분석에 활용하자는 발상이었습니다. 이 개념은 2010년경, 펜타호(Pentaho)의 CTO였던 제임스 딕슨(James Dixon)에 의해 처음 소개되었습니다. 문제는 시간이 지나면서 발생했습니다. 많은 조직이 “일단 모아두면 언젠가는 쓰겠지”라는 생각으로 데이터를 무분별하게 적재했지만, 관리와 규칙은 함께 가져가지 않았기 때문입니다. 메타데이터 관리, 품질 기준, 접근 통제 같은 기본적인 운영 체계가 빠진 채 데이터만 쌓이자, 레이크는 점점 활용하기 어려운 공간이 되었습니다. 이렇게 찾기 어렵고.. 2026. 1. 13. 이전 1 다음 반응형