Analytics
Real-time analytics — architektura pro analýzu v reálném čase
Real-time analytics umožňuje analyzovat data v momentě vzniku. Lambda vs Kappa, streaming pipeline a OLAP databáze.
Architektura
Lambda vs Kappa
Lambda — batch + speed vrstva. Kappa — pouze streaming.
# Kappa stack: # Kafka → Flink → ClickHouse → Grafana # 1. Kafka: příjem # 2. Flink: enrichment, agregace # 3. ClickHouse: sub-second dotazy # 4. Grafana: vizualizace
OLAP enginy
- ClickHouse — nejrychlejší agregace
- Apache Druid — time-series
- Apache Pinot — user-facing analytics
- DuckDB — embedded OLAP
Metriky
- End-to-end latence — <10s je real-time
- Query latence — cíl <1s
Shrnutí
Kappa s Kafka + Flink + ClickHouse je dnes preferovaný stack pro real-time analytics.