Core Data Platform
& Integrace

Mapa před kódem. Než napíšeme první řádek, zmapujeme datové zdroje, toky, transformace a konzumenty. Výstup: architektonický dokument s jasnou strukturou a technologickými rozhodnutími.

Medallion architektura: Bronze (raw data), Silver (cleaned, validated), Gold (business-ready). Každá vrstva má definovanou kvalitu, SLA a vlastníka.

Technology selection: Snowflake vs Databricks vs BigQuery — rozhodujeme na základě workload patterns, stávajícího ekosystému a nákladového modelu. Vendor lock-in minimalizujeme.

Batch i real-time, spolehlivě. dbt pro transformace v SQL, Airflow pro orchestraci, Kafka pro streaming. Idempotentní pipelines s retry logikou a dead letter queue.

Data contracts: Schema registry, version control, backward compatibility. Změna ve zdrojovém systému nerozbije downstream pipeline — protože máte kontrakt.

Monitoring: Data freshness, row counts, schema drift detection. Alert když pipeline selže, ale i když data „vypadají divně" (anomaly detection).

Škálovatelnost: Od gigabajtů po petabajty. Spark pro heavy lifting, incremental processing pro efektivitu. Cost-aware scheduling — heavy joby běží v off-peak.

Garbage in, garbage out. Data quality není nice-to-have — je to základ důvěryhodného reportingu a ML modelů. Automatizovaná validace na každé vrstvě datové platformy.

Framework: Great Expectations, dbt tests, custom validační pravidla. Profiling odhalí anomálie v distribuci, nullity, uniqueness a referenční integritě.

Alerting: Okamžitá notifikace při porušení kvality. Quarantine mechanismus — špatná data neprojdou do gold vrstvy. Dashboardy s DQ skóre pro business stakeholdery.

Kdo, co, odkud a proč. Datový katalog s business glossary, vlastníky a popisem. Každý v organizaci najde data, která potřebuje, a ví, komu patří.

Lineage: Vizualizace datových toků od zdroje po report. Když se změní zdrojová tabulka, víte přesně, které dashboardy to ovlivní.

Access control: Role-based přístup k datům, column-level security, data masking pro PII. GDPR-compliant — víte, kde jsou osobní údaje a kdo k nim přistupuje.

Nástroje: Apache Atlas, DataHub, Alation nebo custom řešení. Integrace s dbt, Airflow a BI vrstvou pro automatický lineage.

Systémy, které spolu mluví. Event-driven architektura s Apache Kafka jako páteří. Systémy publikují eventy, konzumenti reagují asynchronně. Loose coupling, high cohesion.

API kontrakty: OpenAPI/AsyncAPI specifikace, schema registry, contract testing. Změna v jednom systému nerozbije integraci — protože kontrakt je zákon.

Resilience: Circuit breaker, retry s exponential backoff, dead letter queue. Integrace přežije výpadek protistrany. Eventual consistency kde je to přijatelné, strong consistency kde je nutná.

Přesun bez ztráty a bez výpadku. Dual-write, shadow traffic, postupný cutover. Každá fáze s validací kompletnosti a konzistence. Rollback plán pro každý krok.

Validace: Row count reconciliation, checksum verification, business rule validation. Automatizované porovnání source vs target na vzorku i kompletních datech.

Zero-downtime: CDC (Change Data Capture) pro kontinuální synchronizaci během migrace. Cutover window v řádu sekund, ne hodin. Smoke testy a canary traffic před plným přepnutím.