„Myslím, že nový design bude lepší.” — to není argument. „Nový design zvýšil konverzi o 12 % s 95% statistickou signifikancí.” — to je.
Feature Flags jako základ¶
LaunchDarkly pro feature flags — zapnout/vypnout funkce pro specifické segmenty uživatelů bez deploymentu. Základ pro A/B testy: skupina A vidí starý design, skupina B nový.
Statistická signifikance¶
Nejčastější chyba: ukončit test příliš brzy. „Po 100 uživatelích máme +20 %!” — to je šum, ne signál. Nastavili jsme minimální sample size kalkulátor a pravidlo: žádný test nekončí pod 1000 uživatelů na variantu.
Bayesian přístup¶
Místo p-hodnot používáme Bayesian inference — „pravděpodobnost, že varianta B je lepší než A, je 96 %”. Intuitivnější pro business stakeholders. Implementace v PyMC3.
Guardrail metriky¶
Každý test sleduje nejen primární metriku (konverze), ale i guardrails — page load time, error rate, user engagement. Zvýšení konverze na úkor rychlosti stránky je Pyrrhovo vítězství.
Data, ne pocity¶
A/B testing mění kulturu rozhodování. Méně „já myslím”, více „data ukazují”.
Brauchen Sie Hilfe bei der Implementierung?
Unsere Experten helfen Ihnen bei Design, Implementierung und Betrieb. Von der Architektur bis zur Produktion.
Kontaktieren Sie uns