Debezium zachytává změny v databázích v reálném čase. Každý INSERT, UPDATE a DELETE se přenese do Kafka bez zátěže zdrojové DB.
Change Data Capture¶
CDC čte transakční log (WAL, binlog) — nezatěžuje zdrojovou DB.
{
"name": "postgres-cdc",
"config": {
"connector.class": "io.debezium.connector.postgresql.PostgresConnector",
"database.hostname": "postgres",
"database.dbname": "app",
"topic.prefix": "cdc",
"table.include.list": "public.orders",
"plugin.name": "pgoutput",
"transforms": "unwrap",
"transforms.unwrap.type": "io.debezium.transforms.ExtractNewRecordState"
}
}
CDC → Data Lake¶
- Debezium → Kafka
- Flink/Spark → zpracování
- Delta/Iceberg/Hudi → upsert
Produkční best practices¶
V produkčním prostředí používejte Debezium s Kafka Connect v distribuovaném režimu pro vysokou dostupnost. Nastavte snapshot.mode podle potřeby — initial pro první synchronizaci celé databáze, schema_only pokud potřebujete pouze nové změny. Transform ExtractNewRecordState zjednodušuje strukturu zpráv z envelope formátu na flat JSON.
Monitorujte lag mezi zdrojovou databází a Kafka topiky pomocí Debezium metrik. Při problémech s výkonem zvažte filtrování sloupců pomocí column.include.list — přenášejte pouze data, která skutečně potřebujete. Pro schéma migrace buďte opatrní — ALTER TABLE na zdrojové DB vyžaduje restart konektoru s novým schématem. Debezium podporuje PostgreSQL, MySQL, MongoDB, SQL Server, Oracle a další databáze.
Shrnutí¶
Debezium je standard pro CDC v Kafka ekosystému. Near real-time replikace bez zátěže zdrojové DB.