Lakehouse architektura — spojení data lake a warehouse

Lakehouse sjednocuje data lake a warehouse do jedné vrstvy. Open table formats, medalionová architektura a unifikovaný přístup k datům.

Od warehouse a lake k lakehouse¶

Medalionová architektura¶

• Bronze — surová data, append-only
• Silver — vyčištěná, validovaná
• Gold — business agregace

# Bronze: ingestion z Kafka
bronze.writeStream.format("delta")
    .start("/lakehouse/bronze/orders")

# Silver: čištění
silver = spark.read.format("delta")
    .load("/lakehouse/bronze/orders")
    .dropDuplicates(["order_id"])
silver.write.format("delta").save("/lakehouse/silver/orders")

# Gold: agregace
gold = spark.read.format("delta")
    .load("/lakehouse/silver/orders")
    .groupBy("order_date").agg(sum("total_czk").alias("revenue"))
gold.write.format("delta").save("/lakehouse/gold/revenue")

Advantages¶

• Jeden storage — žádná duplikace
• Open formats — žádný vendor lock-in
• Cost efficiency — levný object storage

Summary¶

Lakehouse s medalionovým vzorem je preferovaný přístup. Bronze-Silver-Gold zajišťuje postupné zvyšování kvality.