NaviExpert - jak przebadaliśmy z użytkownikami aplikację w aucie?

Jakiś czas temu zostaliśmy poproszeni o przebadanie aplikacji NaviExpert. Badanie miało charakter eksploracyjny. Jego celem było sprawdzenie, jak użytkownicy oceniają aplikację oraz w jaki sposób korzystają z jej najważniejszych funkcji. Dlaczego w tym celu opuściliśmy laboratorium i wynajęliśmy samochód?

Test użyteczności aplikacji mogliśmy przeprowadzić w naszym laboratorium. Udałoby się porozmawiać o doświadczeniach, zarejestrować błędy, wypunktować niezrozumiałe i problematyczne elementy. Teoretycznie można by było przeprowadzić badanie tak, aby w aplikacji pojawiały się komunikaty, instrukcje dźwiękowe i podpowiedzi tras. Efektem byłby szczegółowy raport badawczy z rekomendacjami i komentarzami badanych.

Czasem lepiej wyjść z laboratorium

Takie podejście nie byłoby jednak kompletne. Przecież nawigacji w telefonie rzadko używamy w domu, siedząc na kanapie, chyba że do sprawdzenia odległości pomiędzy dwoma adresami czy miastami. Jak lepiej sprawdzić reakcje użytkownika na sposób nawigacji, dźwięk, komendy, mapę, zmieniający się tryb dzień – noc, jeśli nie podczas rzeczywistej jazdy?

Zamiast pokazywać badanym dwa tryby wyświetlania ekranu, po prostu umówiliśmy badanie w godzinie zachodu słońca. Dzięki temu mogliśmy obserwować reakcję badanego, któremu podczas jazdy ekran zmieniał się z jaśniejszego na ciemniejszy.

Badania umawialiśmy tak, aby można było przetestować różne funkcje aplikacji w różnych warunkach drogowych, oświetleniowych oraz przy różnym natężeniu ruchu. Testy odbywały się od godziny 6:00 do 21:00. Każdy respondent miał pokonać tę samą trasę, która była dobrana tak, aby w razie korków aplikacja podpowiadała co najmniej dwie inne możliwości dojazdu. Sprawdziliśmy dzięki temu dodatkowe funkcjonalności.

Zalety swobodnej eksploracji

Respondenci mieli też możliwość swobodnego eksplorowania aplikacji NaviExpert. W trakcie badania podążaliśmy za badanymi, zadając dodatkowe pytania o interesujące nas elementy. Scenariusz zakładał przebadanie konkretnych funkcjonalności, jednak respondenci mieli możliwość samodzielnego przejścia przez narzędzie i zaglądania do interesujących ich zakładek. Umożliwiło nam to sprawdzenie, w które miejsca wchodzą badani, w jaki sposób poruszają się po aplikacji, które elementy ich intrygują, które mogą być niezrozumiałe.

Największą nagrodą podczas badania jest moment, kiedy badany zapomina, że właśnie jest w trakcie testu użyteczności, że z tyłu jest kamera, a obok siedzi badacz. To moment, kiedy zaczyna się taniec gestów: badany dyskutuje z aplikacją, wyciąga swój telefon i zaczyna porównywać funkcje. Spontaniczne reakcje respondenta to coś, na co czekamy. To wtedy badany wychodzi z poziomu deklaratywności i pokazuje, jak naprawdę używa urządzenia. Angażuje się.

Badanie to nie tylko sam wywiad w formie pytanie – odpowiedź. To wnikliwa obserwacja zachowań respondenta, jego emocji, grymasów twarzy, wzruszania ramionami, każdego westchnienia czy pogłaskania telefonu. Przeprowadzenie badań w naturalnym środowisku pozwoliło na zaobserwowanie zachowań, których nie moglibyśmy uchwycić w laboratorium badawczym. Nie zwrócilibyśmy uwagi na sposób, w jaki użytkownik dostosowuje ustawienia, testuje i zmienia dźwięk, ustawia telefon w uchwycie. Nie nastąpiłby moment, w którym badany podczas jazdy prosi o zatrzymanie się, żeby zmienić część ustawień, jak wyłączenie widoku punktów POI czy zmiana lektora. Badanie w samochodzie umożliwiło rejestrację sytuacji zaskakujących, nie do przewidzenia, które w warunkach laboratoryjnych nie miałyby szans zaistnieć.

Respondenci byli zaangażowani w test aplikacji tym mocniej, że instalowali ją na swoich telefonach i w ramach wynagrodzenia otrzymywali do niej darmowy dostęp. Niektórzy badani mieli tak dużo do powiedzenia, tak mocno angażowali się w dyskusje na temat narzędzia, że z ich własnej inicjatywy rozmowa przeciągała się do dwóch, a nawet dwóch i pół godziny. Było to dwukrotnie dłużej, niż początkowo zakładaliśmy.

Utrudnienia w terenie? Są, ale można je przezwyciężyć

Podczas badania poza laboratorium może wystąpić wiele czynników zewnętrznych, na które nie mamy wpływu, a mogą one zakłócić badanie. Tak było choćby na etapie rekrutacji. Badani musieli mieć prawo jazdy i nie mogli obawiać się jazdy wypożyczonym samochodem. Każdy respondent był zgłaszany do ubezpieczenia, więc w trakcie rekrutacji wymagane było podanie wrażliwych danych jak PESEL, numer dowodu osobistego, adres zamieszkania. Nie wszyscy się na to zgodzili, rezygnując tym samym z udziału w badaniu.

Niektórzy respondenci potrzebowali kilku chwil, aby przyzwyczaić się do jazdy nowym autem. Rundka po parkingu, próby hamowania i ruszania stały się normalnym, rozgrzewkowym elementem badania. Wystąpił też pewien problem z nagrywaniem testu. Przy każdym przejeździe samochodem z NaviExpert włączaliśmy kamerę i dyktafon. Po początkowych nagraniach przekonaliśmy się, że kamera wytrzymuje na jednej baterii półtorej do dwóch godzin. Ponieważ jednak badania się przeciągały, trzeba było wymieniać baterię podczas wywiadu. W konsekwencji zmieniliśmy sposób nagrywania na bardziej stabilny – kamerę podłączaliśmy do laptopa.

Czynnikami niezależnymi od nas były korki i utrudnienia na drodze. Z jednej strony pozwalały przetestować funkcję ich omijania, z drugiej wydłużały czas badania.

Badanie w warunkach naturalnych przyniosło wyjątkowo bogaty materiał pod względem ilościowym i jakościowym. Pozwoliło na bardzo szczegółowe i dokładne przetestowanie aplikacji. Dobrze poznaliśmy użytkowników, ich zachowania, reakcje i opinie. Najlepszym efektem okazała się możliwość przedstawienia klientowi nagrań ze szczerymi i spontanicznymi reakcjami badanych. Czasem jedno 30-sekundowe nagranie ma większą siłę przekonywania niż 50 stron raportu.

Autor: Małgorzata Kowalska, EDISONDA