Con l’avvento dei servizi di usabilità online alcuni servizi offrono panel di utenti “professionali”, cioè che eseguono test online in maniera ripetuta (a proposito: noi reclutiamo i volontari qui). Normalmente invece in laboratorio si utilizzano utenti selezionati con cura: cosa che rende il processo costoso. Ma gli utenti “professionali” hanno performance differenti da quelli di laboratorio?

Jeff Sauro ha comparato i risultati di 12 soggetti testati in laboratorio con utenti di servizi online, che lui chiama perciò “professionali”. E ha trovato che i risultati sono statisticamente indistinguibili per quanto riguarda il tasso di completamento di un compito e il giudizio soggettivo. Differenze invece esistono per il tempo di completamento. Problemi di comparabilità del tempo esistono comunque in generale fra test in laboratorio e online, qualunque siano gli utenti. Per di più, se si usa il thinking-aloud, il tempo è impossibile da rilevare anche in laboratorio: dunque non ne farei una questione centrale.

In definitiva, gli utenti “professionali” dei servizi online sono utilizzabili con buona affidabilità. Lui dice che i risultati sono “promettenti”. In effetti trarre conclusioni definitive in questo settore ancora nuovo è difficile. Sarebbe per esempio giusto comparare tipi di task diversi, e tipi di siti diversi. Per di più, gli utenti che lui ha utilizzato in laboratorio sono selezionati con procedura tutt’altro che casuale. Ma niente è niente, qualcosa è qualcosa. Saper di potersi fidare dei tassi di completamento e delle valutazioni, ma non dei tempi, è senz’altro un buon punto di partenza per usare correttamente la metodologia ed evitare di prendere decisioni sballate.