Con l’emergere di nuovi strumenti online per lo svolgimento di test di usabilità può essere difficile decidere quali tipi di test svolgere, capire quanto costano e quali sono più adatti al nostro progetto. Proviamo a fornire una piccola guida.

Tipi di test

I test di usabilità sono di molti tipi, e hanno diversi obiettivi a seconda del tipo di progetto e della fase del progetto nella quale vengono svolti. Ciò che caratterizza ogni test è che si tratta di strumenti che prevedono il coinvolgimento di utenti, e che a questi utenti non ci limitiamo a chiedere opinioni: piuttosto, chiediamo loro di svolgere delle attività sotto i nostri occhi, o in modo da registrare la loro attività sul sito o sul prototipo.

Detto in altro modo: è un test di usabilità ogni metodo che prevede che uno o più utenti esegua delle attività (compiti precisi, o navigazione libera) su un sito o su un prototipo o bozzetto, in modo da consentirci di osservare questa attività, o tenerne traccia, o registrarla. Analizzando lo svolgimento di queste attività osserviamo con i nostri occhi le difficoltà incontrate: non necessariamente le cause delle difficoltà. Capire le ragioni delle difficoltà è compito del bravo analista.

Rimangono aperte moltissime questioni di metodo:

• quanti utenti chiamare;
• come osservarli;
• come registrarli;
• cosa fargli fare;
• come gestire l’interazione;
• cosa registrare e analizzare.

Queste sono variabili che dipendono dai nostri obiettivi. Ovviamente, incidono sul budget: dobbiamo scegliere il metodo più adatto ai nostri obiettivi all’interno dei limiti di budget che abbiamo. Vediamo di capirne di più.

Test formativi e sommativi

In generale, una distinzione classica è fra test formativi e test sommativi.

Test formativi

I test formativi sono quelli il cui scopo è quello di imparare. Sono formativi, appunto. Noi, come analisti e progettisti, impariamo osservando degli utenti cosa funziona e cosa non funziona in un sito. Se gli utenti non riescono a portare a termine un compito che gli diamo, allora ci dobbiamo chiedere perché, e da questa osservazione, unita ad un’analisi, impariamo come migliorare il progetto.

Uno potrà dire che questo dovrebbe essere l’obiettivo di tutti i tipi di test: perché solo questi si chiamano formativi? In realtà, si chiamano formativi semplicemente perché in questi test noi non abbiamo un controllo statistico dei dati. Non abbiamo un numero sufficientemente alto di utenti da poter assumere che il loro comportamento sia rappresentativo dell’intera popolazione. Non sappiamo quanta parte della popolazione incontrerà le stesse difficoltà che incontrano loro (dal punto di vista statistico è più un problema di certezza della stima, ma non è il caso di addentrarci in questi dettagli).

Il test formativo, non offrendo la possibilità di trattare i dati con rilevanza statistica, si concentra dunque sul capire le prestazioni di singoli soggetti: se capiamo perché loro hanno difficoltà, potremo comunque imparare come migliorare il sito, anche se non sappiamo con esattezza quanta parte della popolazione finale sarà influenzata da quegli errori.

In compenso, non ci servirà osservare molti utenti (da 3 a 5, circa): il test formativo è economico.

Per la sua natura, questo tipo di test è adatto a fasi precoci di sviluppo. Quando c‘è un bozzetto semifunzionante, o addirittura anche solo un mockup del sito. Quando cioè siamo ancora lontani dalla meta: ma in questa fase, sapere se il progetto sta prendendo strade complicate per l’utente ci serve a non investire troppo in soluzioni che poi dovranno comunque essere abbandonate o corrette.

Insomma, prima si identificano potenziali problemi, più si risparmia nella successiva correzione.

Un test formativo a rigor di logica non ha nemmeno bisogno di report particolarmente elaborati.

E’ utile svolgere questo tipo di test in presenza, e non in remoto (non online) osservando direttamente gli utenti eseguire i compiti. Al termine delle prestazioni, potremo così intervistarli e capire meglio perché alcuni compiti sono stati difficili.

Esistono però anche modi per raccogliere indicazioni migliorative usando strumenti remoti. Per esempio, il one-click test è uno di questi: si mostra un’immagine del sito a un certo numero di utenti, accompagnati dalla richiesta di dire dove cliccherebbero per fare una certa cosa.

Raccogliendo la posizione del click di un congruo numero di utenti, possiamo chiaramente capire quanti cliccano dove ci aspettiamo: sebbene non sia facile capire il perché, la rapidità e la chiarezza del risultato finale ci consentono senza dubbio di fare eventuali modifiche al progetto. Qui però ci servono più persone: non è esattamente un test formativo.

Inoltre il test in presenza, con poche persone, consente di testare una varietà di situazioni molto più alta di un one-click test e di imparare qualcosa sulle percezioni degli utenti: perché un certo sito viene visto in un certo modo, perché un certo link non viene cliccato, e così via.

Ripeto: poiché non sappiamo quanti utenti esibirebbero lo stesso comportamento, non dobbiamo trarre indicazioni generali. I rischi sono quelli di prendere per buone delle idiosincrasie di un singolo soggetto. Ma se le ragioni per cui il compie le sue azioni sono ragionevoli e chiare, come spesso accade, possiamo imparare molto spendendo veramente poco sia in termini di tempo che di risorse, prima ancora di sviluppare interamente il sito. Quindi risparmiando dopo.

Test sommativi

I test sommativi sono quelli in cui, al contrario, il numero di utenti è più alto, le variabili sono tenute meglio sotto controllo ed è possibile così trattare statisticamente i risultati osservati. E’ possibile costruire un tasso di successo sui compiti con margini di incertezza ridotti, stabilire quale versione di un’interfaccia è più rapida per eseguire un certo compito, e così via. In generale richiedono almeno una decina di utenti. Meglio se di più. Rientrano in questa categoria anche i test A/B, dove si confrontano due versioni dell’interfaccia, e un po’ tutti i test remoti, svolti attraverso strumenti online.

Storicamente sul web non si svolgevano molti test di tipo sommativo, perché è sempre difficile e oneroso reclutare un numero elevato di soggetti. Proprio l’emergere di strumenti di registrazione remota del comportamento degli utenti ha in realtà diffuso questa pratica anche per le interfacce web. Grazie a questi servizi è possibile reclutare utenti che svolgono da casa propria i compiti. Ovviamente, il metodo presenta degli svantaggi: non abbiamo garanzia né sulla concentrazione né sulla comprensione degli utenti remoti. Non li osserviamo direttamente (tranne in alcuni casi). Questo porta a degli svantaggi, ma anche a dei vantaggi: c‘è meno lavoro di analisi qualitativa per l’analista, che non deve essere presente contemporaneamente all’utente (sebbene esistano tool remoti sincroni: in quel caso il vantaggio è ridotto e il test assomiglia ad un test in presenza). Ma è anche vero che non possiamo interrogare direttamente l’utente, non possiamo sapere perché ha agito in un certo modo. Tuttavia, il vantaggio è di poter ottenere con maggior facilità numeri alti, anche molto alti (svariate decine di utenti). I fattori di disturbo si dovrebbero perciò bilanciare più facilmente offrendoci i vantaggi di risultati robusti. Jeff Sauro rileva che fra test remoti non moderati e test in presenza non ci sono significative differenze nel tasso di successo (il più importante dato ottenuto dai test di usabilità), mentre mette in guardia dall’utilizzare senza opportune correzioni i tempi di risposta (il secondo dato più importante, spesso però non utilizzabile nemmeno nei test formativi se si utilizza la tecnica del thinking aloud).

Pro e contro, appunto. Come quelli relativi ai costi: un test con 10 persone in presenza può costare molto, attorno ai 10.000 euro. Un test online con 30 persone può costare un quarto o anche meno. I risultati sono diversi, ma dipende dalla ragione per cui si fa un test.

I test sommativi non sono utili nelle fasi precoci del progetto: troppe decisioni ancora da prendere, per investire cifre sostenute. Danno il massimo beneficio su siti attivi o nelle fasi finali di progettazione, quando ci sono da prendere decisioni puntuali e cruciali. O nel confronto fra due versioni della stessa funzionalità.

Nota: Questa considerazione non vale per tipi di test particolari, come quelli per definire l’architettura dell’informazione: in quel caso evidentemente è meglio farli prima di arrivare a definire anche solo il bozzetto dell’interfaccia.

Il budget

Altra questione cruciale è quella del budget. Se vi siete potuti fare un’idea precisa dei limiti e dei pregi dei diversi tipi di test, è evidente che molto dipende da quanto è possibile investire in ogni fase. A volte, semplicemente questo è un vincolo che precede la scelta del tipo di test. E’ importante capire però che con cifre modeste è possibile oramai svolgere sia test sommativi che formativi: ovviamente, nel primo caso bisogna optare per soluzioni online. Mentre i test formativi con budget ridotti obbligheranno a limitare il numero di utenti osservati e la formalità del report.

Riportiamo qui una tabella riassuntiva che sperio possa essere utile nella scelta del test adatto al caso vostro:

Ricordate che i test indicati in ogni casella non offrono output equivalenti: hanno pro e contro diversi. Per scegliere dovete anche chiarire gli obiettivi attesi del vostro test.

Questo argomento, approfondito e discusso con esempi pratici, è parte del corso per progettare e moderare test di usabilità.