Core Data Platform & Integrace

Většina datových projektů selže na architektuře, ne na technologii. Tým vybere Snowflake nebo Databricks, začne stavět pipeline, a po 6 měsících zjistí, že nemá definovaný source of truth, data quality je katastrofa a nikdo neví, kdo vlastní jaká data.

Náš blueprint proces: (1) Data audit — zmapujeme všechny zdroje, toky, transformace, konzumenty. (2) Domain mapping — kdo vlastní jaká data, kdo je konzument, jaké jsou SLA. (3) Architecture design — Medallion architektura (Bronze → Silver → Gold), technology selection na základě požadavků. (4) Implementation roadmap — prioritizace use-cases podle business value, MVP pipeline za 4-6 týdnů.

Medallion Architecture: Bronze = raw data (as-is ze zdrojů, immutable). Silver = cleaned, validated, conformed. Gold = business-ready aggregace, denormalizované views pro konzumenty. Každá vrstva má jasně definovanou odpovědnost a quality gates.

Technology selection: Neděláme „Snowflake projekty” nebo „Databricks projekty”. Volíme technologii podle požadavků: batch vs. streaming, objem dat, latence, rozpočet, existující stack. Někdy je PostgreSQL + dbt nejlepší řešení. Někdy potřebujete Spark cluster.

Pipeline, který selže v tichu, je horší než žádný pipeline. Stavíme datové pipelines s produkčním přístupem: monitoring, alerting, retry logika, dead letter queue, data quality checks na vstupu i výstupu.

ETL vs. ELT: ETL transformuje data před uložením — vhodné pro regulovaná prostředí, kde chcete kontrolovat, co se ukládá. ELT ukládá raw data a transformuje až v warehouse — efektivnější s moderními systémy (Snowflake, Databricks, BigQuery). Většinou volíme ELT, ale záleží na kontextu.

Orchestrace s Airflow: DAG-based orchestrace. Dependency management, retry logic, SLA alerting, backfill capability. Taskflow API pro čistší kód. Custom operators pro specifické zdroje. Monitoring přes Grafana.

Transformace s dbt: SQL-first transformace s verzováním, testováním a dokumentací. dbt tests pro data quality (unique, not_null, accepted_values, custom). dbt docs pro automatickou dokumentaci a lineage vizualizaci. Incremental models pro efektivní zpracování.

Error handling: Každá pipeline má: retry s exponential backoff, dead letter queue pro failed records, alerting na selhání, automatic recovery po transient errors. SLA monitoring — pipeline musí doběhnout do definovaného času, jinak alert.

Batch processing má své místo — ale když potřebujete rozhodovat v reálném čase, nestačí. Fraud detection, dynamic pricing, supply chain optimization, IoT telemetrie — toto jsou use cases, kde zpoždění stojí peníze.

Apache Kafka jako páteř: Kafka není jen message broker — je to distribuovaný commit log, event streaming platform a integrace backbone v jednom. Garantované doručení, ordering per partition, replay capability, retention policies.

Stream processing: Kafka Streams pro jednoduché transformace (filtering, enrichment, aggregace). Apache Flink pro komplexní stream processing (windowing, complex event processing, ML inference). ksqlDB pro SQL-like stream processing.

Kafka Connect: Pre-built connectory pro stovky zdrojů a cílů. CDC (Change Data Capture) z PostgreSQL, MySQL, SQL Server přes Debezium. Sink do Elasticsearch, S3, Snowflake. Schválení nového connectoru za hodiny, ne týdny custom development.

Produkční provoz: Multi-broker cluster, replication factor 3, ISR monitoring. Schema Registry pro schema evolution (Avro/Protobuf). Kafka Lag monitoring — consumer group lag = early warning pro processing bottlenecky.

Data bez quality je noise. Dashboard, kterému nikdo nevěří, je dražší než žádný dashboard — lidé ho ignorují a rozhodují se podle intuice. Data quality není nice-to-have, je to prerequisite pro jakoukoliv datovou iniciativu.

Data Quality Framework: Měříme 6 dimenzí: completeness (chybějící hodnoty), consistency (shoda mezi zdroji), accuracy (správnost hodnot), timeliness (čerstvost dat), uniqueness (duplicity), validity (formát a rozsah). Automatizované checks na vstupu i výstupu každé pipeline.

Data Contracts: Formální dohoda mezi producentem a konzumentem dat. Definuje schéma, quality expectations, SLA, ownership. Breaking change = versioning + notification + migration period. Contracts v kódu (protobuf, JSON Schema), ne v dokumentu.

Data Lineage: Automaticky trackujeme, odkud data přišla, jak se transformovala, kam putuje. Vizualizace v data catalogu. Když se změní zdrojový systém, víte přesně, co je ovlivněno. Impact analysis za minuty, ne dny.

Data Catalog: Centrální místo, kde najdete všechna data ve firmě. Popis, vlastník, quality metriky, lineage, příklady. Self-service — analytik najde, co potřebuje, bez tiketu do IT. DataHub, Apache Atlas, nebo Atlan.

Ruční integrace (CSV export, FTP upload, email s přílohou) je technický dluh, který se hromadí. Každý nový systém znamená nové ruční propojení. Stavíme integrační vrstvu, která systémy propojuje spolehlivě, automaticky a monitorovaně.

Integrační patterny: Synchronní (REST/gRPC) pro queries a commands, kde potřebujete okamžitou odpověď. Asynchronní (Kafka, RabbitMQ) pro events a notifications, kde eventual consistency stačí. CDC (Change Data Capture) pro real-time replikaci dat bez změny zdrojového systému.

API Design: RESTful API s OpenAPI specifikací. Versioning (URL nebo header). Rate limiting, authentication (OAuth2/API key), pagination, error handling. API gateway (Kong, Azure APIM) pro centrální management.

Resilience: Retry s exponential backoff, circuit breaker (Polly, Resilience4j), timeout handling, bulkhead isolation, dead letter queue. Každá integrace má definované SLA a monitoring. Výpadek jednoho systému nezastaví ostatní.

Typické integrace: SAP/ERP (objednávky, faktury, sklady), Salesforce/CRM (kontakty, příležitosti), e-shop platformy (Shopify, Magento), platební brány (Stripe, GoPay), doručovací služby (PPL, DPD, Zásilkovna). Většinu napojíme za 1-3 týdny.

Pokud business musí pokaždé žádat IT o report, máte problém. Self-service analytics znamená, že analytici, product manažeři a vedení si berou data sami — z ověřených, kvalitních zdrojů. IT buduje platformu, business ji používá.

Semantic Layer: Jednotná definice business metrik. „Revenue” znamená totéž v každém reportu, pro každý tým. Implementujeme přes dbt metrics, Cube.js, nebo Power BI semantic model. Žádné „náš revenue se liší od vašeho o 3%”.

Data Catalog: Centrální místo pro discovery. Analytik hledá „customer churn” → najde definovanou metriku, vlastníka, quality score, příklady dotazů. Snížení „koho se mám zeptat na tato data” z dnů na minuty.

Dashboardy a reporty: Power BI pro executive reporting a ad-hoc analýzu. Grafana pro operational dashboardy. Embedded analytics pro zákaznické portály. Standardní šablony pro typické use cases (sales, operations, finance).

Governance: Kdo vidí co (row-level security), kdo může co měnit (role-based access), certifikované vs. exploratory datasety. Balance mezi kontrolou a svobodou — příliš restriktivní = lidé se vrátí k Excelu.