Testowanie wskaźnika CTR w wynikach wyszukiwania – SERP Turkey

Mierzenie wskaźnika klikalności (CTR – ang. Click Through Rate) w wynikach wyszukiwania sprawia problemy. Po uruchomieniu protokołu HTTPS (z szyfrowaniem SSL) w wyszukiwarce Google dla zalogowanych użytkowników zadanie staje się jeszcze trudniejsze. Trudno uzyskać odpowiedź na najważniejsze pytania:

• Na jakiej pozycji znajdowała się kliknięta strona?
• Jaki tytuł i opis został pokazany?
• Jak wyglądały inne wyniki wyszukiwania?
• Jakie reklamy zostały wyświetlone?

Problemem jest również opóźnienie między wprowadzeniem zmian na stronie (np. zmiana tytułu), a ich uwzględnieniem w wynikach wyszukiwania. Na blogu SEOmoz zaprezentowano ciekawe narzędzie SERP Turkey stworzone przez jednego z użytkowników serwisu. Autor miał na celu uzyskania prostego sposobu na mierzenie wskaźnika CTR wyników wyszukiwania dla określonego zapytania po ich zmodyfikowaniu. 

Narzędzie SERP Turkey

Narzędzie SERP Turkey pozwala na wpisanie zapytania do wyszukiwarki, importowanie wyników wyszukiwania z Google dla tego zapytania, a następnie edytowanie każdego wyniku – jego tytułu, opisu, wyświetlanego adresu URL. Możliwa jest również zmiana kolejności wyświetlanych wyników wyszukiwania. Taka spreparowana wersja może służyć do testowania rozkładu współczynnika klikalności pomiędzy poszczególnymi wynikami. SERP Turkey umożliwia także stworzenie kilku wersji wyników wyszukiwania do testów porównawczych (A/B). Nasze spreparowane wyniki wyszukiwania są dostępne pod unikalnym adresem URL, który możemy udostępnić grupie testerów lub skorzystać z Amazon Mechanical Turk – usługi, która umożliwia zlecanie prostych zadań dużej grupie pracowników, którym płaci się po przysłowiowe parę groszy za wykonanie zadania. Test przeprowadzony w grupie około 200 użytkowników, to koszt mniej więcej 10$.

Każdej osobie pod wygenerowanym adresem URL pokazana zostaje spreparowana strona wyników wyszukiwania, losowo wybrana spośród stworzonych wariantów, a ich kliknięcia są rejestrowane. Następnie można przeanalizować (lub pobrać w formie pliku CSV) wskaźnik CTR każdej pozycji wyników wyszukiwania dla każdego wariantu. 

Spreparowane strony wyników wyszukiwania

Spreparowane w narzędziu strony wyników wyszukiwania wyświetlają linki nawigacyjne i reklamy, ale są one rozmyte, aby nie rozpraszać użytkowników.

W obecnej wersji strony wyników nie wyświetlają opisów wzbogaconych (ang. rich snippets) i innych wyników wertykalnych (wiadomości, grafik, filmów wideo), ale planowane jest dodanie takiej możliwości w kolejnej wersji narzędzia. 

Wiarygodność kliknięć

Przy takim rodzaju testów powstaje pytanie na ile wiarygodne są wyniki. Czy testerzy wykonają poprawnie test – klikną link, który uznają za najbardziej właściwy dla podanego zapytania, czy też po prostu klikną przypadkową pozycję. W pewnym stopniu zależy to od sposobu doboru testerów. W serwisie mTurk większość pracowników przykłada się do zleconych zadań, ponieważ zleceniodawca musi zaakceptować realizację zadania, a wskaźnik akceptacji pracy jest kryterium oceny pracownika. Dodatkowo autor narzędzia SERP Turkey przeprowadził test na wiarygodność kliknięć, który potwierdził, że pracownicy mTurk, zgodnie ze zleceniem, starają się znaleźć najbardziej powiązany z zapytaniem wynik wyszukiwania. Należy jednak zwrócić szczególną uwagę na charakterystykę demograficzną testerów. Według danych z zeszłego roku około 32% pracowników Amazon Mechanical Turk to osoby z Indii, 57% osoby z USA, a pozostałe 11% to osoby z pozostałych krajów całego świata. 

Przewodnik po SERP Turkey

 
1. Przechodzimy na stronę narzędzia SERP Turkey.
2. W polu tekstowym „Keyword” podajemy zapytanie, dla którego będzie przeprowadzany test (będzie wyświetlane na spreparowanej stronie wyników wyszukiwania jako wprowadzone zapytanie) i zatwierdzamy przyciskiem „Baste!”

3. Przechodzimy na stronę wyników wyszukiwania Google (w dowolnej wersji językowej) dla testowego zapytania, kopiujemy kod HTML (źródło) tej strony i wklejamy w polu tekstowym narzędzia. Po kliknięciu przycisku „Process Source” z wklejonego kodu zostaną wyodrębnione poszczególne wyniki wyszukiwania.

4. Narzędzie wyświetla liczbę wyodrębnionych i zapisanych w bazie danych wyników wyszukiwania. Następnym krokiem jest przygotowanie różnych wariantów stron z wynikami wyszukiwania po kliknięciu przycisku „Ok, lets setup some tests!”.

5. Na początku na liście występuje jeden wariant strony wyników wyszukiwania. Aby utworzyć kolejny wariant, klikamy link „Duplicate”. Uzyskane duplikaty możemy następnie edytować.

6. Klikając link „Edit” możemy edytować dowolny z utworzonych wariantów. Dostępna jest edycja nazwy wariantu oraz poszczególnych wyników wyszukiwania – tytułu, opisu, wyświetlanego adresu URL i zajmowanej pozycji. Przy zmianie pozycji w rozwijanym menu należy zwrócić uwagę, aby miejsca nie zostały zdublowane. Zmiany zapisujemy przyciskiem „Edit this set”.

7. Po stworzeniu wszystkich wariantów stron SERP przechodzimy do sekcji „Dashboard”, gdzie mamy dostęp do poszczególnych adresów URL testu: adresu dla testerów, adresu do panelu zarządzania testem oraz adresu wejściowego do wykorzystania w usłudze Mechanical Turk (autor narzędzia umieścił poradnik jak korzystać z usług Amazon Mechanical Turk).

8. Pod adresem URL dla testerów wyświetlany jest losowo jeden z wariantów testowej strony SERP. Tester jest proszony o kliknięcie wyniku wyszukiwania, który wydaje mu się najbardziej dopasowany do wyszukiwanej frazy.

9. Po kliknięciu wyniku wyszukiwania użytkownikowi wyświetlany jest kod przypisany do testu i dostępny w panelu zarządzania, który może służyć do weryfikowania wykonania testu przez testera.

10. Pod unikalnym adresem URL panelu zarządzania naszym testem mamy na bieżąco dostęp do jego rezultatów. Przechodzimy do nich w sekcji „Manage Variants” za pośrednictwem linków „Results” lub „Results (5 secs)”. Druga wersja przedstawia wyniki po odfiltrowaniu osób, które kliknęły wynik przed upływem 5 sekund od wczytania strony, czyli prawdopodobnie ich wybór był losowy.

Strona z rezultatami przeprowadzanego testu zawiera listę wyników wyszukiwania w danym wariancie wraz z liczbą kliknięć i wskaźnikiem klikalności, który jest również odzwierciedlany przez kolor danej pozycji. Wyniki testu można pobrać również w formie pliku CSV, zawierającego kolumny: clicks, clicks %, position, title, url, description. 

***

Narzędzie SERP Turkey nie posiada rozbudowanych funkcji, ale właśnie ta jego prostota zasługuje na pochwałę. Dzięki temu, że narzędzie jest darmowe, można je bez obaw testować i szukać zastosowania w działaniach SEO. Tak naprawdę najtrudniejszym zadaniem jest pozyskanie odpowiednio dużej i reprezentatywnej grupy testerów. Dobrane osoby powinny mieć podobną strukturę demograficzną (kraj, płeć, wiek), jak docelowi użytkownicy wyszukiwarki. Jeśli macie pomysły na testy oraz sposoby pozyskiwania testerów, napiszcie o tym w komentarzu.