A/B test kreativ je porovnání dvou nebo více variant reklamy, které se liší jen v jedné věci, na srovnatelných a oddělených skupinách lidí. Ukáže, která varianta lépe plní cíl kampaně, ale jen když nasbírá dost dat.
Dva bannery se liší jen nadpisem a každý má 40 000 zobrazení: A 80 prokliků (CTR 0,20 %), B 120 prokliků (CTR 0,30 %). Rozdíl v CTR je statisticky průkazný (test dvou podílů dává z ≈ 2,8, hranice pro 95 % je 1,96). Objednávky jsou ale 4 proti 5, a to o ničem nerozhoduje – na konverze by test musel běžet mnohem déle. Při CPM 30 Kč stál test 2 × 1 200 = 2 400 Kč.
V Metě slouží A/B test, který rozdělí publikum na skupiny bez překryvu; test kreativ v API pracuje se 2 až 7 skupinami a v každé je právě jedna reklama. V Google Ads jsou pro obrázky a videa experimenty Demand Gen: kampaně se mají lišit jen v jedné proměnné, Google doporučuje rozdělení 50 : 50 a nabízí spolehlivost 70, 80 nebo 95 %, přičemž jen 95 % označuje za průkazný výsledek. U metrik konverzí potřebuje experiment aspoň 100 datových bodů a při nabídkách na konverze aspoň 50 konverzí v každé větvi; když výsledky chybí, Google doporučuje nechat experiment běžet aspoň 4 až 6 týdnů. Texty ve vyhledávání testujete přes Varianty reklam, které jsou jen pro vyhledávací kampaně. Sklik samostatný A/B test nemá a reklamy v sestavě střídá metodou bayesovského bandity, která upřednostňuje reklamu s lepším poměrem (třeba CTR) a novější data, takže rovnoměrné rozdělení nezaručí. Výsledky ze Skliku proto berte jako orientační.
Časté chyby
- Varianty, které se liší v několika věcech najednou, takže nevíte, co rozhodlo.
- Ukončení testu po pár dnech podle prvních desítek prokliků.
- Vítěz podle CTR, i když cílem kampaně jsou objednávky.