Remote uživatelské testování — postřehy z praxe

Jaké nástrahy přináší “remote” uživatelské testování oproti klasickému aranžmá místnost — moderátor — respondent? Dali jsme dohromady postřehy, které jsme získali při realizaci vzdálených uživatelských testů aplikací a webů našich klientů.

V době kdy je většina lidí na home-office, je vzdálené testování s uživateli jedním z hlavních způsobů jak kvalitativní UX testy efektivně dělat. To samé platí i pro samotný uživatelský výzkum, hloubkové rozhovory a podobně.

Zkušenost s přesunem majority prováděných testů do online světa, nás vedla i ke změnám v našem standardní testovacím workflow. To jsme museli upravit, tak aby výsledky našich testů měli stejnou vypovídací hodnotu, jako když sedí výzkumník s respondentem v jedné místnosti.

Rekrutace respondentů

• Rekrutace bývá často největší bolestí v celém procesu uživatelského testování. Teď v době Covidu, jde ale překvapivě snáz. Respondenti nemusí nikam jezdit, stačí, když se připojí z práce nebo z domova. Pokud se výzkumník přizpůsobí časově a nevadí, že poslední test začne až ve 20:30, dají se sessions naplánovat v krátkém čase.
• Spousta lidí si na videokonference zvykla, nejsou zaskočeni a technických problémů je čím dál méně.
• Velká část respondentů je vstřícná a ochotná se potkat, pro někoho je to příležitost se s někým vůbec bavit.
• Spousta lidí má víc času než obvykle.

Příprava na rozhovor — co se osvědčilo

• Snažíme se vyjít respondentům vstříc a použít komunikační platformu, kterou znají a používají. Některé testy jedeme přes Zoom, Google Meet, něco i přes Skype.
• Domlouváme specifické požadavky — například, že je potřeba, aby se s námi spojili přes počítač (a ne mobil) a byli připraveni na nahrávání z naší strany. Pokud se jedná o respondenty, kteří nejsou z řad Friends & Family, je potřeba ještě souhlas s nahráváním, GDPR a případně NDA poslat dopředu mailem.
• Testy domlouváme se standardním předstihem — ve středu/čtvrtek na následující týden. Respondenty kontaktujeme po telefonu, kdy se rovnou domluvíme i na preferované platformě. Nahrávám přes QuickTime player (Mac) + automatické nahrávání u Zoomu (Google Meet).
• Připomenutí je ideální poslat mailem den dopředu.

Průběh rozhovoru — co všechno se může stát

• Respondentovi se schůzka nakonec nehodí, nechce, nebo na ni zapomene. Je dobré počítat se stejnou nebo lehce vyšší mírou nerealizovaných rozhovorů jako ve standardním fyzickém set-upu a schůzek domluvit víc.
• Během rozhovoru se mohou objevit děti, rodinní příslušníci, respondent potřebuje vyřešit své pracovní záležitosti a nebo si potřebuje něco vyřídit, třeba skočit koupit cigarety 🙂. Po domluvě pak takové zásadní momenty ze záznamu vystřihneme, před předáním klientovi.
• I přesto, že jsme se domluvili na desktop testování, respondent se připojí přes mobil (s tím se toho už moc dělat nedá…)
• Nefunguje sdílení, nebo respondent nedokáže sdílet obrazovku. V takovém případě sdílíme my a respondent nám říká, kam máme kliknout.
• Nedaří se spojit. Pak je dobré mít back-up variantu — připravenou další schůzku přes jiný kanál, nebo ji bleskově vytvořit. Rychlé zavolání a sladění klasicky přes telefon, ušetří spoustu času. Pokud je problém s nestabilním připojením, je lepší přebookovat setkání na jindy.
• Objeví se drobné technické detaily. Pokud respondent používá dvě obrazovky může se stát, že nebude vidět, kam kliká. Rozhraní některých komunikačních platforem může na některých počítačích zasahovat do okna prototypu a je potřeba instruovat respondenta, aby si skryl horní panel okna (Zoom).

Key takeaways

• Remote testování funguje dobře. Rekrutace a účast respondentů je srovnatelná s tou u fyzických testů. Není problém oslovit zástupce všech věkových a sociálních skupin v rámci celé republiky.
• Zkušenosti s používáním platforem pro videokonference začínají být běžným standardem.
• Vyplatí se být připraven na všechna možná technická úskalí, maximum věcí domluvit dopředu a během testu už se věnovat samotnému testování, aby nedošlo k prodlevám a netrval příliš dlouho.
• Vždycky se během celého setu testů něco pokazí, ale je dobré mít připravený back-up plán a přinejhorším si s respondentem zavolat a domluvit se na dalších krocích.
• Lockdown je ideální příležitostí začít testovat remote a rozšířit si tak portfolio UX výzkumných metod i do budoucna.