Vlákno názorů k článku Jak pomocí A/B testování zvýšit výnosnost webu od Jiri Stepan / Et netera - Děkuji za reakce, dovolím si souhrnný komentář @Marek Prokop:...

Děkuji za reakce, dovolím si souhrnný komentář

@Marek Prokop: Máte naprostou pravdu s tou délkou návštěvy, to jsem úplně ignoroval. A/B test funguje dobře u mikrokonverzí, kde je zřejmá příčina => následek a kde mohu vyloučit další faktory.

@Robert Nemec: Doba A/B testu lze dopředu poměrně přesně odhadnout. Pokud chceme prokázat 10% zvýšení non-bouncerate pro web 550visits/denně a současné hodnota je 75%, tak stačí použít třeba tuhle kalkulačku http://www.google.com/support/websiteoptimizer/bin/answer.py?hl=en&answer=61688 . Pro 20 variant dostáváme odhad doby experimentu 18dnů. Je zřejmé, že slibovat týden je chyba.

Omlouvám se za příkrost, ale buďto děláme statistiku nebo neděláme statistiku. Dělat ji jenom trochu jaksi nejde. Bez ohledu na to co si klient vybral. Souhlasím, že někdy na testy není čas. Při změnách námi vyvíjených eshopů, narychlo před vánoci, také občas dáme přednost volbě "pocitově nejlepši varinty", neboť nechceme utrácet návštěvy s vysoce konverzním potenciálem na testování. Ok, ale pak to nenazýváme A/B testem. Je to prostě rozhodnutí UI experta, který za něj nese odpovědnost. Ponecháme jen minimální vzorek pro kontrolu a 90%-95% pustíme rovnou to co si myslíme, že je lepší. Je to rizikový, leč legitimní postup. Ale není to A/B test, který z nás snímá odpovědnost za rozhodování. Je to obyčejné kvalifikované manažerské rozhodnutí.

A s tím se pojí obecnější problém etiky optimalizace webu, jakožto poměrně módní disciplíny. V internetovém businessu se pohybuji už řádku let a tak vidím jisté analogie. Stejně jako jsme dříve na základě profesní cti prosazovali čisté CSS layouty a pěkný kód (ač to klient nechtěl), stejně jako jsme o něco později propagovali čisté SEO techniky ač jsme mohli ustoupit (v jisté době) k různým fíglům, tak je nyní nutné při optimalizaci a analýze webů být k zákazníkům (i sobě) maximálně upřímní. Tím "my" myslím komunitu internetových konzultantů/tvůrců webu atd. Tedy těch, kteří současně musí pro klienty hledat kompromisy, a současně je vzdělávat. Musíme proto i přiznávat neúspěchy a úspěchy jasně prokazovat. Hledání rozstoucích grafů pro PPT prezentaci umí každý marketingový lhář. Ale to nebude fungovat věčně, klient po čase pozná, že něco je špatně.

Tedy - když analyzujeme, musíme říkat i věci nepříjemné pro nás i pro klienta. Měli bychom přijmout za své etické standardy a postupy z přírodních věd - experiment (třeba AB test) by měl být dobře rozmyšlený, dokumentovaný a hlavně podrobený kritice. Hypotéza není prokázána nalezením prvního rostoucího grafu, který ji podporuje. Hypotéza je prokázana, když se ji nepodaří vyvrátit křížovou kontrolou. Atd. Teprve pak můžeme doufat, že klienti uvěří, že jim opravdu chceme pomáhat, a že nám mohou důvěřovat (= svěřit své peníze).

Tímto si dovolím v diskusi skončit - za hodinu odjíždím optimalizovat carvingový styl. Ale rád si s odstupem přečtu reakce. Pěkné vánoce!

Absolutní souhlas.