ML Model Monitoring — detekce driftu a degradace v produkci

ML model v produkci degraduje. Svět se mění, data se mění, a model natrénovaný před 6 měsíci už neodráží realitu. Bez monitoringu to zjistíte, až si stěžují zákazníci.

Typy driftu¶

• Data drift — distribuce vstupních dat se mění (nový segment zákazníků)
• Concept drift — vztah mezi features a target se mění (změna chování)
• Prediction drift — distribuce predikcí se mění

Evidently AI pro drift detection¶

Evidently — open-source framework pro ML monitoring. Generuje drift reporty, porovnává produkční data s tréninkovými. Integrace s Grafana dashboardem — alerting při překročení thresholdů.

Automatický retraining pipeline¶

Drift detected → Airflow spustí retraining pipeline → nový model v MLflow → automatická evaluace → pokud lepší → Staging → manuální approval → Production. Celý cyklus pod 4 hodiny.

Deploy modelu není konec — je to začátek¶

ML model bez monitoringu je tichá katastrofa. Drift detection + automatický retraining = udržitelný ML systém.