Die Medallion-Architektur organisiert Daten in drei Schichten: Bronze (roh), Silver (bereinigt) und Gold (business-ready). Jede Schicht erhoeht die Qualitaet und fuegt Wert hinzu.
Drei Datenschichten¶
Bronze — Rohdaten¶
- Append-only — niemals loeschen, niemals aendern
- 1:1-Kopie des Quellsystems
- Metadaten: Ingestion-Zeitstempel, Quellsystem
Silver — Bereinigte Daten¶
- Deduplizierung und Bereinigung
- Typkonvertierung und Normalisierung
- Validierung — Quality Checks
Gold — Business-Daten¶
- Aggregation und Business-Logik
- Dimensionsmodelle
- Konsumption: BI, ML, API
# Medallion-Architektur — Bronze, Silver, Gold Datenschichten
# models/bronze/raw_orders.sql
SELECT *, current_timestamp() AS ingested_at
FROM {{ source('raw', 'orders') }}
# models/silver/stg_orders.sql
SELECT DISTINCT order_id, customer_id,
CAST(total AS DECIMAL(12,2)) AS total_czk
FROM {{ ref('raw_orders') }}
WHERE order_id IS NOT NULL
# models/gold/fct_daily_revenue.sql
SELECT order_date, SUM(total_czk) AS revenue
FROM {{ ref('stg_orders') }}
GROUP BY order_date
Zusammenfassung¶
Die Medallion-Architektur ist Standard fuer Lakehouse. Bronze bewahrt Rohdaten, Silver bereinigt und Gold aggregiert fuer das Business.
medallionarchitekturabronzesilvergold