Dziękujemy za zainteresowanie naszymi usługami optymalizacji konwersji.
Zależy nam na tym, aby wszystkie warunki były dla Państwa zrozumiałe i przejrzyste.
W tekście Testowanie A/B: Jak mierzyć skuteczność zmian, przedstawiliśmy standardy branżowe dla tych Państwa, którzy stawiają pierwsze kroki w analizowaniu konwersji.
W tym dokumencie chcielibyśmy przedstawić warunki, na podstawie których możemy udzielić gwarancji wzrostu konwersji.
Mariusz Słowik
Head of design
Przy projekcie całkowicie nowej strony gwarantujemy minimum 10% względnej poprawy konwersji. Oznacza to, że jeśli obecna konwersja wynosi 10%, zobowiązujemy się do osiągnięcia wzrostu do minimum 11%. Jest to realistyczny, acz minimalny cel przy kompleksowej zmianie strony, który jesteśmy w stanie zmierzyć i potwierdzić statystycznie.
Bazując na naszym doświadczeniu, przy całkowitej zmianie strony często osiągamy znacznie większe wzrosty, jednak gwarancja obejmuje minimum 10% poprawy względem obecnych wyników.
Kluczowe jest precyzyjne zdefiniowanie, co uznajemy za konwersję. Może to być zakup produktu, wypełnienie formularza kontaktowego czy zapis do newslettera - ważne, aby definicja była jasna i możliwa do zmierzenia. Wszystkie te działania muszą być odpowiednio rejestrowane w systemie analitycznym.
Akceptujemy dowolne wybrane przez Państwa narzędzia do testowania, pod warunkiem że spełniają niezbędne standardy branżowe. To trochę jak z pomiarem temperatury - możemy użyć różnych termometrów, ale wszystkie muszą być odpowiednio skalibrowane i dawać wiarygodne wyniki.
Narzędzia muszą umożliwiać:
Aby zapewnić najwyższą jakość i wiarygodność wyników, zastrzegamy sobie prawo do przeprowadzenia audytu technicznego zarówno przed rozpoczęciem testów, jak i po ich zakończeniu.
Przed rozpoczęciem badań przeprowadzimy audyt:
Wymagamy 95% pewności statystycznej - to branżowy standard. Oznacza to, że istnieje tylko 5% szans, że zaobserwowany wzrost jest przypadkowy. To jak w medycynie - nikt nie chciałby przyjmować leku, który działa tylko "być może".
Przy standardowym ruchu na stronie nasz system pomiarowy jest skonfigurowany do wykrywania zmian na poziomie minimum 12% względnej poprawy. Jest to parametr techniczny, który zapewnia nam możliwość wiarygodnego zmierzenia gwarantowanego 10% wzrostu konwersji.
Mniejsze progi wykrywalności wymagałyby znacznie większego ruchu na stronie i nieproporcjonalnie wydłużyłyby czas testowania, co mogłoby wpłynąć na wiarygodność wyników ze względu na naturalne wahania sezonowe.
Przy standardowym ruchu na stronie dopuszczamy skonfigurowanie systemu pomiarowego skonfigurowanego do wykrywania zmian na Państwa korzyść na poziomie minimum 12% względnej poprawy. Jest to parametr techniczny, który zapewnia nam możliwość wiarygodnego zmierzenia gwarantowanego 10% wzrostu konwersji.
Przykładowo, jeśli obecna konwersja wynosi 10%, nasz system pomiarowy jest w stanie pewnie wykryć wzrost do poziomu 11.2% (12% względnej poprawy). Dzięki temu mamy pewność, że gwarantowany przez nas 10% wzrost (z 10% do 11%) zostanie prawidłowo zmierzony i potwierdzony. Ustawienie nieznacznie wyższego progu wykrywalności (12%) niż gwarantowany wzrost (10%) zapewnia nam niezbędny margines bezpieczeństwa i pewność statystyczną wyników.
Mniejsze progi wykrywalności wymagałyby znacznie większego ruchu na stronie i nieproporcjonalnie wydłużyłyby czas testowania, co mogłoby wpłynąć na wiarygodność wyników ze względu na naturalne wahania sezonowe.
W każdym wypadku będziemy kierować się liczbą minimalną liczbą konwersji w okresie do dwóch miesięcy testów. Ta liczba nie jest przypadkowa - Dla stron o niskim ruchu uznajemy to za minimum statystyczne potrzebne do uzyskania wiarygodnych wyników. Przy mniejszej liczbie konwersji moglibyśmy zobaczyć "pozorne" różnice, które w rzeczywistości są tylko przypadkowymi wahaniami.
To ograniczenie nie wynika z naszych preferencji, ale z podstawowych zasad statystyki. Przy mniejszej liczbie konwersji:
To trochę jak próba określenia, czy moneta jest uczciwa po wykonaniu tylko 10 rzutów - nawet jeśli wypada 7 razy orzeł, nie możemy być pewni, czy to znacząca różnica, czy zwykły przypadek.
Przy liczbie konwersji poniżej 150 miesięcznie na wariant:
Zależy nam na tym, aby dostarczyć Państwu rzetelne i wiarygodne wyniki, na podstawie których można podejmować bezpieczne decyzje biznesowe.
Rozważyć najpierw zwiększenie ruchu na stronie poprzez:
Nie możemy utrzymać gwarancji w sytuacjach, gdy:
Proces weryfikacji musi być przejrzysty i oparty na danych. W tym celu prosimy gromadzić pełną dokumentację testów, wszystkie logi i raporty analityczne. Najczęściej zadanie to wykonuje każde narzędzie pomiarowe. Każdy test musi być dokładnie monitorowany i dokumentowany, aby móc potwierdzić osiągnięte rezultaty. Dlatego najlepiej posłużyć się tu dedykowanym narzędziem. Np: Optimizely.com.
Wszystkie te warunki służą jednemu celowi - zapewnieniu, że oferowana przez nas gwarancja wzrostu konwersji jest rzeczywista i możliwa do zrealizowania.
Z wyrazami szacunku,
Zespół Optymalizacji w Owocni.pl