Data Mesh a data governance — decentralizace datového vlastnictví

Centralizovaný data team byl bottleneck. Každý požadavek na nový dataset znamenal týdny čekání. Data Mesh nabízí alternativu — decentralizované datové vlastnictví s centrální governance.

Čtyři principy Data Mesh¶

• Domain-oriented ownership — tým, který data produkuje, za ně zodpovídá
• Data as a product — datasety mají SLO, dokumentaci, vlastníka
• Self-serve data platform — infrastruktura pro snadné publikování a konzumaci dat
• Federated computational governance — centrální standardy, decentralizovaná implementace

Naše implementace¶

Každý doménový tým publikuje datasety jako „data products” v Snowflake. Standardizovaný formát: schema, dokumentace, data quality testy, SLO (freshness, completeness). Data catalog v Apache Atlas.

Governance bez byrokracie¶

Automatizované politiky: PII detekce, retention rules, access control. Data steward v každém týmu. Centrální tým definuje standardy, doménové týmy je implementují. Funguje to — ale vyžaduje kulturní změnu.

Data Mesh není stříbrná kulka¶

Vyžaduje zralé týmy a silnou platformu. Ale pro organizace, kde centrální data team nestíhá, je to cesta vpřed.