Case study badania Eyetracking Facebooka

Paulina Makuch
http://www.flickr.com/photos/34489786@N08/6731246141/

O Badaniu
W marcu 2011, K2 Internet opublikowao raport z przeprowadzonego przeze mnie badania eyetrackingowego Facebooka. Raport zosta wyrniony w midzynarodowym konkursie IAB Europe Research Awards 2011. O raporcie byo gono, ale odbir okaza si rny jedni interesowali si wynikami i gratulowali inicjatywy, inni krytykowali, zarzucajc bdy w metodyce. Jest to jedna z przyczyn, dla ktrych napisaam tego casea. Szersze podsumowanie raportu znajdziecie na moim blogu. Case study powstao, aby Wyjani, dlaczego badanie zostao przeprowadzone w taki sposb a nie inny sposb i jak wycignam z niego takie wnioski pokaza warsztat badacza UX podzieli si moimi decyzjami metodycznymi i zachci innych badaczy do dyskusji Case study nie powstao na zlecenie K2. Zrobiam to wycznie hobbystycznie.

Co chcielimy zbada
Strona gwna tablica
Przede wszystkim chcielimy przeprowadzi badania na prawdziwych tablicach uytkownikw i zobaczy jak przegldaj znajdujce si tam treci. Nie interesowao nas testowanie na tablicach spreparowanych na potrzeby badania, poniewa istotne byo realne zainteresowanie pojawiajcymi si wpisami. Za gwne cele postawilimy sobie znalezienie odpowiedzi na pytania: W jaki sposb uytkownicy na co dzie przegldaj swoj tablic? Jakiego rodzaju posty s chtniej i dokadniej konsumowane? znajomych vs marek czysto tekstowe vs atrakcyjniejsze wizualnie Czy marki maj realn szans na dotarcie do swoich odbiorcw przez Facebooka?

Fan pages
Przy okazji postanowilimy pokaza respondentom kilka fan pages. Staralimy si wybra profile o rnej tematyce, aby sprawdzi: Jakie treci przycigaj uwag uytkownikw poza postami?

Czego nie badalimy

Przy okazji chciaabym zaznaczy, e naszym celem nie byo pene zbadanie odbioru marki na Fecebooku. Nie mierzylimy wielu czynnikw z tym zwizanych, np: Poziomu zaangaowania uytkownikw w prezentowane treci czy video bd link jest dla nich ciekawy Ukrywania czy usuwania marek ze znajomych Odwiedzalnoci fan pagea Naszym celem nie byo rwnie zbadanie zauwaalnoci reklam. Gdyby tak byo, procedura badania wygldaaby inaczej. Stawialibymy wtedy na swobod chodzenia po caym Facebooku, a nastpnie analizowali na ile reklamy s zauwaane na rnych stronach, w czasie wykonywania rnych czynnoci przegldania zdj, wydarze, grup, profili znajomych, fan pages itd. W naszym badaniu wnioskowalimy jedynie o zauwaalnoci reklam w czasie przegldania swojej tablicy.

Jakie usyszelimy zastrzeenia?

Prawdy oczywiste
Fajnie, e zrobili badanie, ale niczego nowego nie wnosi. Bolesne to sowa, bo przekrelaj cay wysiek, jaki woyam w badanie Ale na szczcie mog si z tym nie zgodzi. Czy wczeniej wiedzielimy, czy uytkownicy naprawd czytaj na tablicy posty polubionych marek? Czy wiedzielimy, czy patrz na wpisy mwice co polubili ich znajomi? Czy wiedzielimy, czy zwracaj uwag na zakadki na fan pageu? Nie, nie wiedzielimy. Moe domylalimy si. Ale dziki temu badaniu mamy dane to potwierdzajce.

Dekalog oderwany od wynikw badania

Na kocu raportu zamiecilimy Dekalog: Skuteczny fan page na Facebooku. Usyszelimy potem, e znajdujce si w nim zalecenia nie znajduj poparcia w wynikach badania. I tak, zgadzam si, e zrobilimy duy skrt mylowy. Tworzc ostateczny ksztat dekalogu, skupilimy si na tym, aby go nie przegada i nie dawalimy do kadego przykazania rozlegych uzasadnie. Ale kade przykazanie jest poparte danymi uzyskanymi w badaniu. Zabrako tego w raporcie, ale opisaam to pniej w artykule dla Marketingu w Praktyce. Zupenie inn kwesti jest aktualno wynikw badania. Nie chciaabym si nad tym rozwodzi, ale uwaam, e gwny wniosek dotyczcy zainteresowaniem postami marek, nadal jest aktualny.
5

Dlaczego zaprojektowalimy badanie tak a nie inaczej

DECYZJE METODOLOGICZNE

6
http://www.flickr.com/photos/kevinpaulmorris/5308665535/in/photostream

Cig dalszy zastrzee

le dobrani respondenci
Jednymi z najczstszych sceptycznych gosw byy te podwaajce warto badania przeprowadzonego na tak maej prbie, nie bdcej odzwierciedleniem populacji polskich uytkownikw Facebooka. Bo w Polsce wicej uytkownikw to kobiety, bo heavy userzy to mniejszo i tak dalej.

Metoda budzca wtpliwoci

Wtpliwoci budzi rwnie przebieg badania i wywietlanie respondentom statycznych screenw, a nie dziaajcej, klikalnej strony internetowej. Usyszaam te zdanie podwaajce zasadno normalizacji danych. Za chwil postaram si odpowiedzie na dwa pierwsze zarzuty. O normalizacji bdzie troch dalej.

Ograniczenia bada laboratoryjnych

Projektujc badanie laboratoryjne naley skupi si na zmiennych, umoliwiajcych zdobycie odpowiedzi na pytania badawcze i odpuci kontrolowanie tych zmiennych, ktre maj may wpyw na nasze hipotezy. Wiadomo, e dzieje si to kosztem innych aspektw badania (m.in. realizmu), ale takie s prawa bada laboratoryjnych. Nie ma bada idealnych odwzorowujcych rzeczywiste warunki w poczeniu z dokadnym pomiarem zmiennych zalenych. Niestety, trzeba i na ustpstwa.

Kady eksperyment laboratoryjny jest uproszczeniem sytuacji z realnego wiata - z pewnych rzeczy po prostu trzeba zrezygnowa, aby mie kontrol konieczn do przeprowadzenia pomiaru tego co nas interesuje.
Maciek Lipiec UX Director K2 z dyskusji na Goldenline

Dlaczego nieklikalna strona?

Tak jak zostao to napisane we wstpie do raportu zrobilimy tak w celu ujednolicenia warunkw badania midzy respondentami. Jeli kady mgby dowolnie konsumowa treci publikowane na tablicy (zewntrzne linki, video itp.), pojawioby si wiele zmiennych zakcajcych: Kliknicie w link na tablicy, powodowao otwarcie strony docelowej w tym samym oknie (obecnie otwiera si w nowym), a po klikniciu Wstecz, tablica nie adowaa si w odpowiednim miejscu, tylko ponownie na samej grze. Tak wic kontynuowanie przegldania tablicy, wymagao przewinicia strony do odpowiedniego miejsca. A wtedy pojawiayby si nowe fiksacje, zakcajce oryginalne wyniki. Czas trwania video i poziom zainteresowania nim znaczco wpywaby na ilo fiksacji na danym pocie, wywierajc duy efekt na kocowe wyniki. Poza tym nie wszystkie filmy odpalay si w obrbie Facebooka, niektre przenosiy na zewntrzne serwisy. Dodatkowo budowa Facebooka (dynamiczne elementy na stronie, cigy refresh) oraz ograniczenia oprogramowania wykorzystywanego do analizy fiksacji, uniemoliwiay analiz takich danych.

Dlaczego heavy userzy?

Heavy users to w naszym rozumieniu uytkownicy najbardziej aktywni, majcy sporo znajomych, obserwujcy marki. Uznalimy, e taki profil jest najbardziej wartociowy dla marketerw. Po drugie chcielimy mie respondentw regularnie korzystajcych z Facebooka i bdcych fanami marek, a nie ludzi, ktrzy tylko maj tam konto. Reprezentatywno i odwzorowywanie realnej grupy odbiorcw, nie ma, naszym zdaniem, duego znaczenia przy pomiarze percepcji, a szczeglnie w rodowisku kreowanym przez odbiorc (strona gwna Facebooka zawiera przecie gwnie takie treci, ktre uytkownik polubi i chce oglda). Czy to bdzie kobieta, mczyzna, newbie czy zaawansowany uytkownik, manager czy kasjer kady z nich patrzy na wpisy swoich znajomych czy profili, ktre go interesuj. Wykonywany zawd nie zmienia sposobu ich percepcji.

10

Dlaczego tylko 30 osb?

Nie badalimy potrzeb, motywacji, nawykw, ale reakcje fizjologiczne na bodce wizualne. W takiej sytuacji badanie setek osb jest bezcelowe.
Maciek Lipiec UX Director K2

To badania percepcji (reakcji fizjologicznej) a nie opinii, preferencji, czy zachowa w dugim okresie czasu. W zwizku z tym kwestia reprezentatywnoci grupy respondentw ma mae znaczenie.
z dyskusji na Goldenline

Po drugie, padre wiatowej uytecznoci i eyetrackingu, Jakob Nielsen, przeprowadzi badania, w ktrych sprawdza minimaln ilo respondentw potrzebnych do uzyskania trafnych wynikw w eyetrackingu. To wanie 30 osb.

The conclusion from the curve is that we need to have eyetracking data from 30 users if we want to be able to draw sound conclusions from the resulting heatmap.
Jakob Nielsen useit.com z Eyetracking Methodology

11

Dlaczego tylu mczyzn?

Po czci odpowiedziaam na to pytanie przy heavy userach (dwie strony wczeniej). Po prostu pe nie bya naszym kryterium rekrutacji. Dodatkowo pojawiy si dyskusje, w ktrych przywoywano badania eyetrackingowe wykazujce rnice midzy pciami. Tak, rzeczywicie rnice istniej, ale pragn zaznaczy, e dzieje si tak w przypadku zoonych bodcw obrazkowych (np. kobiety wicej patrz na krocze, a mczyni na twarz bejsbolisty). Po drugie, jakiekolwiek porwnania midzy pciami miayby sens, gdyby wszyscy patrzyli na ten sam bodziec wzrokowy. W naszym badaniu, kady patrzy na inaczej wygldajc stron gwn.

Nie byo naszym celem robienie porwna wewntrzgrupowych. Gdybymy chcieli, to ilo respondentw mnoymy razy 2 conajmniej, co odpowiednio zwiksza koszt i czas trwania badania i analiz. Nie pytaem o to czy s obserwowalne rnice midzy kobietami i mczyznami, ale czy gdybymy mieli 15 kobiet i 15 mczyzn w badaniu, to wynik wygldayby diametrialnie inaczej?
Maciek Lipiec UX Director K2 z dyskusji na Goldenline

12

Tobii, htmle i kwestionariusze

PRZYGOTOWANIA DO BADANIA

13
http://www.flickr.com/photos/h_is_for_home/3388655598/

Testy Facebooka na Tobii

Pierwsze co zrobiam, to przetestowaam, jak zapisuj si dane na eyetrackerze, podczas przegldania Facebooka. Niestety okazao si, e przez dynamiczno tej strony, cige doadowywanie si elementw, java scripty i ca reszt, Tobii zapisuje wyniki na kilkunastu podstronach, zamiast na jednej, co uniemoliwiao zupenie jakkolwiek analiz. Postanowilimy wic bada na statycznych screenach. Po gbszym zastanowieniu, doszlimy do wniosku, e takie rozwizanie jest o wiele lepsze (argumenty wymieniam ju przed chwil na stronie 9).

14

Screeny w htmlu
Tobii Studio (oprogramowanie do przeprowadzania i analizy bada eyetrackingowych) ma niestety problem z wywietlaniem bodcw w formie plikw graficznych skaluje je tak, aby zmieciy si na ekranie bez przewijania. Mona wic sobie wyobrazi, jak wygldaaby strona Facebooka z kilkudziesicioma postami Dlatego wrzucamy zawsze pliki png lub jpg w htmla, aby wywietlay si w przegldarce. Jak to robi: 1. 2. Tworz nowy plik w notatniku, pod odpowiedni nazw (tutaj: P01.txt) Pisz najprostszy kod html: <html> <body> <center><img src=P01.png></center> </body> </html> 3. 4. W tym zaznaczeniu, wpisuj oczywicie odpowiedni nazw pliku do wywietlenia (png o tej nazwie musi znajdowa si w tym samym folderze) Zapisuj, zamykam plik i zmieniam mu rozszerzenie na P01.html

15

Przygotowywanie plikw
Jeeli zaoylimy, e wszystko bdziemy bada na statycznych png, musiaam zawczasu przygotowa sobie odpowiedni ilo potrzebnych plikw. I tak, przed przegldaniem Facebooka, respondenci mieli dla rozgrzewki oglda stron Gazety. Przygotowaam wic odpowiedni screen png i plik html. To samo zrobiam dla 4 badanych fan pages. To czego jeszcze potrzebowaam, to 30 takich par png + html, gdzie png jest screenem z tablicy kadego respondenta. Aby w trakcie badania nie powtarza caej procedury tworzenia txt, wpisywania nazwy pliku png i zamiany rozszerzenia z txt na html, przygotowaam sobie wczeniej cay folder z plikami.

16

Przygotowywanie plikw
Stworzyam 30 plikw png (w rzeczywistoci by to ten sam plik, zapisany 30 razy pod inn nazw) kolejno od P01.png do P30.png Do pary zrobiam 30 plikw html, pod odpowiednimi nazwami od P01.html do P30.html. W kadym pliku html wpisaam w kodzie odpowiedni nazw pliku png (to zaznaczone wczeniej na to). Dziki temu, jedyne co musiaam zrobi w trakcie badania, to nadpisa zrobiony wanie screen pod odpowiedni nazw (np. P08.png), a html by ju gotowy.

17

Projekt badania w Tobii

Kolejnym krokiem w przygotowaniach byo ustawienie w Tobii sposobu wywietlania bodcw. Screeny stron miay wywietla si w przegldarce, wic wybraam opcj Web Elements. Ale e html jest lokalny, to jako URL naleao wpisa ciek systemow do pliku. Wyczyam te ograniczenie czasowe dla wywietlania strony. Przed wywietleniem kadej strony, miay pojawia si instrukcje. Ustawiam, aby na ekranie instrukcji widoczny by kursor, a ekran znika po klikniciu.

18

Samoobsuga i brak losowoci

Projektujc przebieg badania, zaoyam pen samoobsug (no, poza kalibracj) respondent sam bdzie decydowa, czy skoczy ju przegldanie strony i sam przeczy si do nastpnej. W Tobii, mona to zrobi za pomoc klawisza F10, wic przykleiam na nim czerwon karteczk i poinformowaam o tym w instrukcji. I pora przyzna si do wpadki. Ukadajc kolejno wywietlania stron zaoyam, e przed kadym fan page powinna pojawi si instrukcja Za chwil zobaczysz profil Lady Gaga na Facebooku. Bo tak przecie jest realnie zanim wejdziesz na jaki profil, znasz jego nazw, bo sam w ni klikne. Taki przeplataniec instrukcji i stron spowodowa, e nie mona byo wprowadzi losowej kolejnoci wywietlania fan pages, bo strony pomieszayby si z instrukcjami (gupi ten Tobii jest jak but!). Wic wszyscy respondenci przegldali profile w takiej samej kolejnoci. Wierz jednak, e nie miao to duego wpywu na wyniki kocowe.

19

Co dokadnie robili respondenci

PRZEBIEG BADANIA

20
http://www.flickr.com/photos/morville/3220961846/

Screen strony gwnej Facebooka

Prekwestionariusz Instrukcja do badania Przegldanie stron na eyetrackerze Postkwestionariusz

Respondenci proszeni byli o nieprzegldanie Facebooka przez kilka godzin przed badaniem, aby uzbierao si kilka ekranw nieprzeczytanych postw. Po przyjciu na badanie, respondent logowa si do swojego Facebooka i od razu odwraca gow, skupiajc si na wypenieniu pre-kwestionariusza. W tym czasie przewijaam stron do dwch doadowa i robiam screena, ktrego zapisywaam pod odpowiedni nazw (np. P30.png). Jednoczenie w Tobii musiaam zmieni ciek wywietlanego bodca na P30.html.
21

Pre-kwestionariusz
Badani wypeniali podstawow metryczk Wiek Pe Wyksztacenie oraz opisywali jak korzystaj z Internetu Od kiedy korzysta z Internetu Ile godzin dziennie Co zazwyczaj w nim robi

22

Instrukcja
Przed rozpoczciem przegldania stron na eyetrackerze, tumaczyam na czym bdzie polagao badanie:

Najpierw bdziesz przeglda swoj stron gwn Facebooka i proba, aby robi to tak, jak zazwyczaj. Jeli co zazwyczaj pomijasz, a co innego czytasz dokadnie teraz rb tak samo.

Nastpnie wywietli si kilka fan pagey. Zapoznaj si z nimi, jeli Ci zainteresuj. Jeli nie, to przecz si do nastpnego zadania, wciskajc czerwony klawisz.
Niestety na ogldanych stronach nie da si otwiera linkw, s nieklikalne, ale proba, aby klika we wszystko tak, jak by normalnie klika. Strony mona swobodnie przewija w d. Moesz je przeglda tyle czasu ile chcesz. Gdy skoczysz, wcinij czerwony klawisz. W trakcie przegldania stron nie komentuj bdzie na to czas po badaniu. Instrukcje bd Ci si wywietlay na ekranie. W razie wtpliwoci pytaj. Zaczniemy teraz od rozgrzewki wtedy wszystko Ci si wyjani.

23

Przegldanie stron na eyetrackerze

Przed kadym bodcem na ekranie wywietlaa si instrukcja. Po zapoznaniu si z ni, respondent klika, co z kolei powodowao wywietlenie bodca (strony). Badany przeglda stron tak dugo jak chcia i wciska czerwone F10, aby przeczy si od kolejnego zadania. Respondenci ogldali kolejno: 1. Stron gwn gazeta.pl rozgrzewka dla zapoznania si z procedur badania 2. Stron gwn swojego profilu na Facebooku 3. 4 fan pages Lagy Gaga, Centrum Nauki Kopernik, IKEA,Musi by gono, kiedy jest impreza (Sprite)

24

Treci zada
Instrukcje byy do rozbudowane, w sumie powtarzay cz tego, co mwiam wczeniej.

25

Post-kwestionariusz
Po zakoczeniu przegldania stron, respondenci wypeniali ankiet z pytaniami dotyczcymi Facebooka: Od kiedy ma profil na Facebooku Jak czsto na niego wchodzi Ile czasu spdza na serwisie Gdzie z niego korzysta Z jakich powodw Czy jest co, co mu przeszkadza w Facebooku Czy ukrywa co na swojej tablicy Czy jest fanem marek lub sawnych osb

26

Post-kwestionariusz
Na kocu post-kwestionariusza pojawiay si pytania z USE znormalizowanego narzdzia do pomiaru satysfakcji. Dla uatwienia, na kracach skali Likerta, zamieciam umiechnit (zdecydowanie si zgadzam) i smutn (zdecydowanie si nie zgadzam) emotikon.

To by pierwszy raz, kiedy uyam tego kwestionariusza w badaniu z uytkownikami. W trakcie wypeniania cz zwracaa uwag, e pytania si powtarzaj (w rzeczywistoci si nie powtarzay, tylko mwiy o tym samym innymi sowami przypado rzetelnych testw). Spore rozbawienie wzbudzay pytania Czuj, e musz go mie i Jest wspaniay.

27

Duo excela, procentw i wykresw

ANALIZA WYNIKW

28
http://www.flickr.com/photos/an-and/4265094194/

Podstawy analizy eyetrackingu

Wbrew pozorom, analiza eyetrackingu nie polega tylko na ogldaniu map cieplnych i cieek fiksacji. W podejciu ilociowym, gwn wartoci s dane statystyczne. Analiz przeprowadza si w oparciu o tzw. obszary zainteresowania, dla ktrych zliczane s dane ilociowe. Jednak warto podkreli, e w badaniach uytecznoci z wykorzystaniem eyetrackingu, analiza statystyczna nie jest najwaniejsza. Poza obserwacj zachowania i pomiarem miejsca patrzenia, chcemy wnioskowa o motywacjach, celach i satysfakcji uytkownikw. Aby to byo moliwe, bierze si pod uwag: dane jakociowe zachowanie badanych oraz ich spontaniczne wypowiedzi i deklaracje dane statystyczne dla okrelonych obszarw zainteresowania eksperck analiz cieek patrzenia (eksperck, bo przegldajc nagrania z fiksacjami, nie przeprowadzamy adnej twardej analizy, ale poszukujemy pewnych schematw i wnioskujemy o motywacjach)

Z drugiej strony musz podkreli, e nasze badanie, nie byo badaniem uytecznoci. Nasze badanie byo pomiarem percepcji. Nie prbowalimy bada potrzeb i oczekiwa uytkownikw. Przy celu badania, ktrym byo okrelenie sposobu czytania treci na stronie, najwaniejsze byy dane ilociowe i analiza statystyczna.
29

Przygotowania do analizy statystycznej

OBSZARY ZAINTERESOWANIA

30

AOI na fan page

Pierwszym krokiem do analizy statystycznej, jest stworzenie AOI (Area of Interest), czyli obszarw zainteresowania, dla ktrych bd zliczane fiksacje. Polega to na zaznaczaniu okrelonych obszarw strony (analogicznie jak na schemacie obok), za pomoc specjalnego oprogramowania. Okrelenie obszarw zainteresowania dla fan pages byo do atwe wszystkie te strony byy zbudowane wedug tego samego schematu i posiaday takie same obszary. Wytypowaam takie obszary, jak wida po prawej. Bdem, ktry niestety zbyt pno zauwayam, byo niezrobienie obszaru dla dodatkowych boksw, ktre marki mogy wstawia w lewej kolumnie, zazwyczaj jako bannery graficzne. (Niedugo po badaniu, Facebook znis moliwo tworzenia takich boksw).

31

AOI na stronie gwnej

Dla strony gwnej sytuacja wygldaa inaczej. Liczylimy si z tym, e kady respondent patrzy na inn (swoj) stron gwn, ale nie spodziewalimy si a takich rnic. Okazao si, e prawa kolumna serwisu wygldaa inaczej u kadego respondenta (po prawej 4 przykady). I nie chodzio tylko o wielko obszarw, ale o ich rnorodno niektrzy mieli Wydarzenia a inni ich nie mieli, niektrzy mieli Sponsorowane, a inni nie. Podobnie byo z Zaproszeniami, Zaczepkami, Wywietlanymi, Osobami, ktre moesz zna itp. Okrelenie jednego schematu i wytypowanie sensownych obszarw, byo sporym wyzwaniem.

32

AOI na stronie gwnej

Ostatecznie zdecydowaam si na zaznaczanie tylko tych obszarw, ktre potencjalnie mog by przydatnym narzdziem dla marketerw Sponsorowane (reklamy) Wydarzenia (wydarzenia mog by obrandowane) Zaproszenia (a wrd nich sugerowane strony) Niezbyt interesowao mnie, czy kto patrzy na Osoby, ktre moesz zna. Z tego powodu te, nie analizowaam fiksacji na tym obszarze, ani na Czacie, Wyszukiwarce czy Menu gwnym takie dane nie miay znaczenia dla moich pyta badawczych (czy marki maj szans zainteresowa i dotrze do uytkownikw Facebooka?)

33

Podzia postw na AOI

Kolejnym krokiem by podzia na obszary (AOI) postw, pojawiajcych si na tablicach badanych.

Podzia wedug rda postw

Przede wszystkim musielimy oddzieli posty znajomych od postw marek. To byo do proste, po zdefiniowaniu marki jako fan page nastawiony gwnie na promocj konkretnego brandu. I tak trafiy tu m.in. marki fmcg, banki, seriale telewizyjne i znane osobistoci. Ale zostao jeszcze wiele innych postw np. newsy z TVN24 czy wpisy dotyczce Forfitera. Dugo dyskutowalimy (Socialistka dziki za wsparcie!) i pojawiay si nawet takie pomysy jak post ideologiczny, pochodzcy np. ze strony Wiosno napierdalaj!. Na szczcie zachowalimy zdrowy rozsdek i dokonalimy prostego podziau na posty: tematyczne obrandowane posty skupiaj si wok konkretnego tematu, dla ktrego uytkownik ledzi stron, ale nie promuj marki wprost (TVN24, Seromaniacy, Kocham ogrd) tematyczne nieobrandowane wpisy skupiaj si na danym temacie, bez obecnoci jakiejkolwiek marki. Fan pages prowadzone dla idei (Forfiter, Batman, Paczaizm)

Podzia po rodzaju postw

Podzieliam rwnie posty wedug typu czysty tekst, link, video, zdjcie (mogce by poczone z tekstem), aktywnoci (kto co polubi) oraz aplikacje (np. wynik quizu czy wylosowany cytat)
34

Zaznaczanie AOI w Tobii

Sporym wyzwaniem byo rwnie zaznaczanie obszarw w oprogramowaniu Tobii. Niestety Tobii, w ramach jednego bodca (pojedynczej strony), nie pozwala na stworzenie kilku AOI o tej samej nazwie (np. znajomi), aby automatycznie tworzy dla nich wsplne statystyki. Nie mogam wic narzdziem Rectangle zaznacza kadego wpisu osobno. Musiaam dla wszystkich postw danego typu (np. wpisw znajomych), stworzy jeden obszar. Zrobiam to dziki narzdziu Polygon, ktrym mona zaznacza obszary o dowolnym ksztacie. Mwic obrazowo pojedynczy AOI by cienkim paskiem z prawej strony tablicy, wychylajcym si w lewo tylko w celu zaznaczenia posta danego rodzaju. Ilustracja po prawej: fragment tej samej tablicy z zaznaczonymi trzema AOI (znajomi, marki, temat-nobrand). Taka metoda oznaczaa, e musiaam kad tablic przewin do samego dou kilkanacie razy, za kadym razem zaznaczajc tylko wpisy jednego typu. eby si w tym nie pogubi, miaam cay czas otwarty notatnik z list wszystkich AOI.

35

Po wielu godzinach mudnego zaznaczania obszarw w Tobiim, powstay 34 takie tablice (30 respondentw oraz 4 fan pages). Tutaj tylko fragmenty, w rzeczywistoci tablice byy o wiele dusze.

36

Ilo postw na tablicach

Pierwsze co sprawdziam, po zaznaczeniu wszystkich AOI, to stosunek rnego rodzaju postw na tablicach badanych. Jednak nie chciaam tego robi zliczajc ilo postw. Postanowiam przeanalizowa powierzchni jak zajmuj na tablicy. To bardziej precyzyjna statystyka, na podstawie ktrej mogam potem normalizowa dane dotyczce fiksacji (wicej o normalizacji za chwil). Takie informacje o AOI znajduj si w Tobii (lewy screen). Wystarczyo wklepa do excela (prawy screen) odpowiednie wartoci, a potem wzi poprawk na to, e procenty prezentuj powierzchni na stronie a nie na tablicy. Sum postw wszystkich typw (ok. 40% powierzchni strony), naleao przerobi na 100% tablicy. W tym celu kad pojedyncz warto naley podzieli przez sum.

37

Ilo postw na tablicach

Uzyskane wyniki (dwa wykresy po prawej) nie byy zaskoczeniem raczej spodziewalimy si tak miadcej przewagi postw znajomych. Dua ilo publikowanych linkw bya tego naturalnym nastpstwem znajomi najczciej dziel si linkami. Dla fan pages zrobiam tak sam analiz rodzaju postw. Jednak dane z 4 stron uznaam za mao reprezentatywne, aby publikowa je w raporcie. A wyglday jak poniej.

38

No to przechodzimy do statystyki

ROZPOCZYNAM ANALIZ

39

Analiza statystyczna w excelu

Niestety zakadka Statistics w Tobiim jest daleka od doskonaoci. Pozwala jedynie na sprawdzenie rnych rednich (np. czasu fiksacji) dla wybranego AOI (np. sponsorowane), na pojedynczym bodcu (np. stronie gwnej respondenta P26). Oznacza to moliwo przegldania statystyk tylko dla kadego respondenta osobno. A ja potrzebowaam danych zbiorczych (z wszystkich respondentw) i moliwoci dalszej ich obrbki. Z pomoc przyszed mi Tomek Rutkowski, ktry stworzy ETCrunch superhiper excela do analizy danych z Tobii. Zainteresowanych szczegami, zapraszam do Tomka. Ja pokrtce mog tylko powiedzie, e: 1. Wypluwalimy z Tobii totalnie surowe dane dla kadej strony (na zakadce Statistics, przyciski Export i AOI Statistics Export) w ten sposb otrzymalimy 68 plikw txt z tysicami wierszy rnych danych 2. ETCrunch zaciga je do swojego pliku excel i mieli na rne sposoby liczy rednie, robi rne zestawienia, zaznacza dewiantw, a nawet rysowa wykresy!

40

Jak wyglda excel EtCrunch

Zawiera osobne zakadki ze statystykami dla kadej strony. Bya te zakadka Porwnania AOI, gdzie znalazo si zestawienie wszystkich respondentw i ich dokadnych statystyk dla kadego AOI A zmienne dla AOI byy nastpujce: Czas do pierwszej fiksacji na obszarze Czas fiksacji na obszarze Czas pierwszej fiksacji na obszarze Ilo fiksacji na obszarze Czas obserwacji na obszarze Ilo obserwacji na obszarze Procent uytkownikw fiksujcych na obszarze Czas od fiksacji na obszarze do kliknicia Czas do pierwszego kliknicia w obszar Ilo klikni w obszar Ile celek mia arkusz do analizy strony gwnej? 10 (zmiennych) x 16 (AOI) x 30 (respondentw) = 4 800
41

Data mining pen par

To bya naprawd dua ilo danych, ktr trzeba byo sensownie przetworzy. Oczywicie nie wszystkie statystyki miay sens, nie dla wszystkich AOI. Z czasem, zagbiajc si w cyferki i poszukujc odpowiedzi na pytania badawcze, okazao si, e w EtCrunch nie ma wszystkich potrzebnych mi danych. Wtedy albo Tomek dorabia kolejne narzdzia do zliczania czego, albo robiam to na piechot, spisujc z Tobii. I tak dla przykadu: Tomek dorabia zliczanie czasu spdzonego przez respondentw na stronach, bo Tobii nie daje takich danych w formie tabeli czy rednich. Jako ciekawostka aby sprawdzi czas przegldania profilu CNK, potrzebny by excel z 16 639 wierszami danych (fragment na screenie poniej) Ja, chcc wykona dokadn analiz jakociow klikni, musiaam przeglda wszystkie heat mapy i spisywa to w kolejnym excelu (szczegy za jaki czas) Szukaam wielu danych, normalizowaam je, liczyam mnstwo rednich, rysowaam najrniejsze wykresy to by najwikszy data mining, jaki w yciu zrobiam!

42

NORMALIZACJA DANYCH

43

Skd wzia si taka potrzeba?

Wic zaczam liczy rednie dla rnych zmiennych, np. redni czas fiksacji. Chcc dowiedzie si, na czyje posty respondenci patrzyli najduej, dostaam takie wyniki 70% na wpisach znajomych, 14% na wpisach marek.

Nie trudno byo si domysli dlaczego tak jest. Sprawdzaam przecie przed chwil rozkad postw na tablicach respondentw i dowiedziaam si, e postw pisanych przez znajomych jest 70%, a postw matek 17%.

Jak wic wyciga z tego sensowne wnioski, a nie oparte na przypadkowoci badanego rodowiska (tworzonego przez respondenta i przez to za kadym razem innego)? Musiaam sprowadzi wszystkie wyniki do wsplnego mianownika, znormalizowa. A to polegao na uwzgldnieniu rnic w wielkoci AOI u kadego respondenta.
44

Dlaczego normalizowaam dane?

Mwic bardziej obrazowo: u kadego respondenta, strona gwna wygldaa inaczej, wic i kady AOI wyglda inaczej u jednego badanego posty znajomych mogy zajmowa 3/4 tablicy, a u innego 1/3. Naturalne jest wtedy, e u pierwszego badanego, ilo fiksacji na postach znajomych bdzie mniej wicej 3 razy wiksza, ni u drugiego badanego. Ta rnica jednak nie wiadczy o wikszym zainteresowaniu, ale o innym dostpie do informacji. A moim celem nie byo zbadanie rnic w dostpie do postw, ale w sposobie ich konsumowania.

Normalizacja bya konieczna, aby:

urednia dane dla wielu respondentw porwnywa wyniki dla obszarw zainteresowania o rnej wielkoci dowiedzie si, jaka jest prawdziwa sia przycigania wpisu znajomego vs wpisu marki

45

Sposb normalizacji
Jak ju wczeniej wspominaam, Tobii liczy procent powierzchni zajmowanej przez kade AOI (dla przypomnienia screen po prawej). Do normalizacji wykorzystaam wanie te dane. A dokadniej t cz, ktra mwia o obszarach poza tablic. Bo do normalizacji postw, wykorzystaam przeliczone ju wczeniej procenty (sumujce si do 100% dla samej tablicy, patrz strona 37). Dane znormalizowane uwzgldniay stosunek uzyskanej wartoci zmiennej do wielkoci obszaru, dla ktrego zmienna bya liczona.

Najpierw normalizowaam wyniki pojedynczych osb (wizualizacja po prawej).

Dopiero te dane ldoway w zbiorczych tabelach dla wszystkich respondentw, gdzie mona byo nareszcie (!) zacz liczy jakie rednie.

46

mmmmm Miaam dwa excele z tymi samymi danymi. W jednym analizowaam dane znormalizowane (na grze), w drugim surowe (na dole).

47

mmmmm Ananlizowaam te same dane na rny sposb, aby upewni si, ktra z drg jest sensowna. Przykadowo, te trzy wykresy prezentuj to samo redni czas fiksacji na obszarach strony gwnej.

48

Analizowaam duo zmiennych, ale nie wszystkie wnosiy co nowego. I tak np. zrezygnowaam z iloci fiksacji i czasu obserwacji . Czas fiksacji (pokazany na poprzedniej stronie) w zupenoci wystarcza. 49

Za to kliknicia respondentw wyday si by ciekaw zmienn. wiadczyy o realnym zainteresowaniu kontentem. Tutaj przygldaam si iloci klikni na wybranych AOI

50

Jakociowa analiza klikni

Jednak informacje wynikajce ze statystyk dla AOI czyli w czyje posty i jakiego typu klikali badani nie byy dla mnie zaspokajajce. Chciaam dowiedzie si w co dokadnie klikali w link, lubi, pole do wpisywania komentarza, w zdjcie (celem powikszenia) itp. Oczywicie jedyny sposb, w jaki mogam to sprawdzi, to przejrze wszystkie mapy cieplne (na ktrych Tobii zaznacza kliknicia) i spisa obserwacje do kolejnego excela. Dane byy ciekawe (kolorowa tabela poniej), ale zbyt szcztkowe, aby wykorzysta je w raporcie. Drugim powodem dla wykonania takiej analizy bya ch sprawdzenia jaki typ posta, spord wpisw tylko marek, jest najatrakcyjniejszy (efekt na wykresach).

51

Gdzie po drodze
zrobiam jeszcze bardziej szczegow analiz klikni na fan pages. I dostaam takie do ciekawe wyniki. Ale znowu uznaam, e to zbyt mao reprezentawywne do publikacji. (Powinna by przeprowadzona analiza wikszej iloci fan pages, aby mona byo takie dane powanie bra pod uwag)

52

Koczc ju z analiz zmiennych

Duo byo tych danych i zapewne mona by znale w nich jeszcze inne ciekawe rzeczy. Ale w pewnym momencie trzeba zachowa zdrowy rozsdek i powiedzie sobie do :) Wnioskw wycignitych z tych wszystkich danych, nie ma sensu jeszcze raz teraz powtarza zostay opisane w raporcie. Chtnych zapraszam do lektury. Bdc ju blisko koca, chciaam tylko jeszcze pokaza dwie rzeczy, ktre zrobiam na potrzeby raportu: Przejrzaam wszystkie nagrania ze ciekami fiksacji wzroku respondentw i zauwayam pewne schematy w kolejnoci przegldania elementw na stronie gwnej. Postanowiam wic dokadniej je sprawdzi Zrobiam te map ciepln prezentujc urednione fiksacje wszystkich respondentw na stronie gwnej

53

Jak okreliam sposb przegldania?

Najpopularniejszy sposb przegldania strony gwnej Facebooka, ustaliam na podstawie: Wspomnianej ju na poprzedniej stronie, eksperckiej analizy cieek wzroku respondentw, widocznych na video z badania redniego czasu do pierwszej fiksacji na AOI ze strony gwnej Jakociowej analizy klikni Tomek zdoby kolejno klikni kadego respondenta w AOI. Zliczyam jaki obszar klikali jako pierwszy, jaki w drugiej kolejnoci itd. (screen po prawej) Analizy mapy cieplnej strony gwnej po pierwszych 5, 10 i 15 sekundach patrzenia Wszystkie te drogi wskazyway na jeden najpopularniejszy schemat przegldania strony (szczegy w raporcie).
54

Jak zrobiam wspln heat map

Jak ju wczeniej wspomniaam, Tobii pozwala tylko na osobn analiz dla kadej badanej podstrony. Nie mona byo wic tak po prostu uzyska wsplnej mapy cieplnej dla fiksacji wszystkich respondentw na swoich stronach gwnych. Trzeba byo poszuka drogi na okoo. Jedyn opcj s tzw. Web Groups, gdzie mona przesuwa dane z jednego bodca na drugi. Przykadowo, fiksacje respondenta P25 na stronie Lady Gaga, mog przesun na profil CNK. Mogam wic fiksacje wszystkich badanych przesun do jednej grupy i uzyska urednione dane. Oznaczao to jednak totalne pomieszanie wszystkiego. Postanowiam wic zrobi to na kopii zrobiam archiwum danych i zaimportowaam je do nowego projektu pod inn nazw. Tam mogam ju ze spokojn gow miesza danymi do woli.

55

Jak zrobiam wspln heat map

Za pomoc Web Groups uredniam fiksacje wszystkich respondentw. Kolejnym krokiem byo przygotowanie strony, na ktrej zostan one wywietlone. Jak zapewne pamitacie, kada strona gwna miaa inn praw kolumn (z innymi obszarami o rnej wielkoci), przez co niemoliwe byo poprawne zaprezentowanie fiksacji. Posuyam si wic makiet strony, ktra miaa podkrela pewn umowno obszarw z zaprezentowanymi danymi. Pozostao tylko wyeksportowa png z samymi fiksacjami i naoy je na przygotowan makiet. A po co tak si siliam? Chciaam zobaczy jak czerwono bdzie na Powiadomieniach, lewym menu i prawej kolumnie. To bya te jedyna moliwo sprawdzenia, jak bd si rozkaday fiksacje w miar przewijania strony w d.
56

ANALIZA KWESTIONARIUSZY

57

Post
Dane z post-kwestionariusza przerzuciam oczywicie do excela :) Te, ktre mogam uredniam. Odpowiedzi z pyta zamknitych zliczyam, a nastpnie policzyam ich udzia procentowy. Byo tez kilka pyta otwartych. Niestety okazao si, e odpowiedzi byy tak rnorodne, e nie dao si stworzy sensownego klucza. Dlatego nie znalazy si ostatecznie w raporcie. Ale byo kilka ciekawych odpowiedzi: Dlaczego korzystasz z Facebooka? Chc publikowa fajne rzeczy (3) Uywam jako komunikator i poczt (3) Co Ci w nim przeszkadza? Uzalenia (3) Zjada czas (1)

Wall nie pokazuje tego, co mnie interesuje (1)

58

USE
Pytania w kwestionariuszu pochodz z 4 skal: Usefulness, Satisfaction, Ease of use i Ease of learning. Uredniam wyniki dla kadego pytania, a nastpnie uredniam wyniki dla kadej skali. W ksice Meausuring the User Experience wyczytaam, e wyniki z tego kwestionariusza najlepiej pokazywa na wykresach procentowych. Wic wyliczyam procenty, dzielc kad redni przez 7 (maximum, ilo stopni na skali odpowiedzi) i zmieniajc format liczb w komrkach na procentowe. Na koniec adny wykres radarowy i wyglda identycznie jak sugeruj autorzy ksiki :)

59

I nareszcie

ZBLIAM SI DO KOCA

60
http://www.flickr.com/photos/photography-andreas/6491386965/in/set-72157625593125283

Podsumowujc
Siedzenie w excelach zajo mi kilka tygodni (niestety po drodze trzeba byo te robi inne projekty). W trudniejszych momentach wspiera mnie Tomek nie tylko narzdziowo, ale przede wszystkim merytorycznie. Duo dyskutowalimy o tym, jak obrabia dane, urednia i przelicza, aby nimi niewiadomie nie zamanipulowa. Wydaje mi si, e nam si udao. Potem ju tylko napisaam raport prezentujcy wyniki badania. K2 Motion przygotowao film zachcajcy, do zapoznania si z raportem. Na Flickr wrzuciam kilka map cieplnych. Na YouTube kilka filmikw (niestety nie mogam opublikowa nagra z przegldania strony gwnej, bo stanowiy zapis kawaka prywatnoci naszych respondentw). Napisaam artyku dla Marketingu w Praktyce. Kilka miesicy pniej zgosiam badanie w konkursie IAB Europe Research Awards 2011 i dostalimy wyrnienie, stajc koo podium z Google, Yahoo!, Microsoft, CNN, Orange. A teraz napisaam tego casea. Nie byo atwo odnale si w gszczu danych i kilkunastu excelach. Ale mam nadziej, e udao mi si przybliy cay proces i cho troch Was tym zainteresowa.

61

Paulina Makuch

DZIKUJE ZA UWAG
www.IfixUX.pl www.facebook.com/IfixUX @IfixUX
62