Measuring Usability è uno dei migliori siti per chi voglia fare usabilità ad alto livello. Il che significa non accontentarsi di fare l’elenco degli errori osservati ai test (che può andar pure bene in molti casi) ma elaborare statistiche raffinate e dare un quadro dettagliato dei problemi totali di un sito, della loro probabilità di accadere, di quanti utenti sono veramente necessari per scoprire una certa quota di problemi, eccetera.

Quando si tratta di usabilità e di statistica, Jeff Sauro, l’autore del sito, è imbattibile. Recentemente però si è avventurato nel mondo della comprensibilità, con un recente articolo su come misurare la comprensione di contenuti e design di pagine web. E ha rivelato quello che è un limite non tanto suo, ma di una parte di scuola anglosassone quando si parla di comprensibilità: il fatto di non agire sulla base di un’idea teorica chiara di cosa sia la comprensione dei testi (un punto di partenza per chi volesse approfondire è in questo libro di Walter Kintsch e nei suoi lavori successivi). E dunque di misurarla con tecniche che nel migliore dei casi sono dei surrogati, quando non misurano proprio cose diverse.

Viviamo in un mondo imperfetto e tutti i tentativi sono utili. Proviamo però a spiegare qui perché ci sono metodi migliori per studiare la comprensione.

La comprensibilità è un processo di costruzione mentale, non di memoria

Il tema è importante, perché molto spesso i problemi che si incontrano sui siti non sono di usabilità in senso stretto, ma di mancata comprensione dei dettagli di un prodotto, di un articolo, di un servizio. Tale mancata comprensione comporta che l’utente non riesca a compiere le scelte giuste. Una caratteristica centrale dell’incomprensione è che, quando avviene, gli utenti non ne sono ben consapevoli. Se ne fossero, avrebbero l’occasione per cercare di capire meglio, ammesso che fossero sufficientemente motivati. Ma spesso il problema è che non si rendono conto di non capire. O, che è la cosa più comune, che colmino le incomprensioni inventandosi spiegazioni costruite automaticamente, con ragionamenti non del tutto consapevoli, che possano colmare le incongruenze e o le lacune del modello mentale che si stanno costruendo mentre visitano la pagina.

Si veda a proposito di questo tema il lavoro di Lucia Lumbelli, ad esempio questo e i precedenti.

Il punto è che poiché la comprensione è un processo mentale, non è direttamente osservabile. Sauro, e molti altri (alcuni dei quali si occupano anche accademicamente di comprensibilità, peccando talvolta di eccessivo riduzionismo) colmano l’impossibilità di osservarlo nel modo più semplice: puntando sulla memoria.

Facendo cioè ricordare agli utenti quello che hanno capito. Sauro propone i due modi classici per testare il ricordo: il riconoscimento e la rievocazione.

Riconoscimento

Vengono proposte domande a scelta multipla, dove gli utenti trovano affermazioni relative al punto di comprensibilità in esame, una sola delle quali è corretta.

I problemi con questa tecnica sono diversi: il guessing è il più ovvio, come nota giustamente anche Sauro. Uno può rispondere anche a caso e indovinare. Se vi è un numero di domande sufficientemente elevato ci sono tecniche di correzione del guessing, ma su pochi punti di comprensibilità in una pagina o in un sito questo è molto difficile da fare.

Inoltre, può darsi non solo che la persona tiri ad indovinare: ma che non si sia affatto formata una sua idea sull’argomento, e sia la domanda con le sue risposte a fornirgliene un modello mentale. Gli stiamo suggerendo un’ipotesi che lui riconosce come corretta nel momento in cui la vede, ma a cui non aveva pensato e che non è dunque frutto della sua comprensione.

Le domande a risposta multipla inoltre sono inoltre largamente* sensibili alla formulazione verbale delle diverse alternative e della domanda stessa:* potrebbero essere male formulate o male interpretate dai partecipanti, e andrebbe fatto un lavoro di accurata scelta della formulazione, possibilmente in equipe.

Rievocazione

Si chiede, con domande aperte, di ricostruire un aspetto del tema oggetto di comprensione (ad esempio: qual è il servizio offerto, qual’è la policy di restituzione, ecc.).

In questo caso, si ricade nel problema del porre domande dirette ad un utente: lo si sta guidando verso un argomento, segnalandogli che quell’argomento è importante indipendentemente da quanto lui l’avesse notato.

La formulazione verbale può dare involontariamente indicazioni sulla risposta, può fornire elementi impliciti che vengano usati nella costruzione di una risposta.

Se possibile, le domande dirette nel corso di un test di usabilità vanno evitate, o usate come ultima possibilità, quando tutto il resto non funziona e comunque quando non possono più alterare la prestazione.

Resoconto

L’ultima tecnica proposta da Sauro riguarda in realtà l’indagine su quali sono i punti memorabili di una pagina, osservati attraverso il racconto che l’utente ne farebbe se dovesse spiegarlo ad un amico. Tecnica corretta, che può essere usata ma che naturalmente dice molto di quello che è significativo per l’utente, non necessariamente di quello che viene compreso.

Un metodo alternativo

Sebbene nessuna di queste tecniche siano sbagliate, tutte hanno dei problemi e nessuna di esse va al cuore della comprensibilità: decidere se il modello mentale del servizio o del contenuto che si è costruito spontaneamente l’utente corrisponde al modello mentale che voleva comunicare il progettista del sito.

Ci sono dei modi? Sì, ci sono. Si tratta di un ampliamento del protocollo del “thinking-aloud” con rispecchiamenti e riformulazioni di quanto detto dall’utente, con l’obiettivo di fargli esplicitare quante più cose possibile senza porgli domande dirette. Insistendo particolarmente sulla chiarificazione dei punti che in una precedente e necessaria analisi si ritengono qualificanti per la comprensione di quel testo.

Il metodo è dunque composto da due fasi:

1. Analisi

Il testo (vale per testi, filmati, immagini, pagine web, ecc.) viene analizzato e vengono identificati i punti di controllo qualificanti per definire la comprensione. Ciò riguarda non solo il recupero di informazioni testuali, ma anche e soprattutto le inferenze che il lettore deve compiere per collegare fra di loro informazioni presenti in punti diversi di un sito o di una pagina, o addirittura assenti e soltanto suggerite.

Per intenderci: decidere se l’utente ha capito dov’è la sede dell’azienda non è un tema di comprensione, perché c’è una pagina in cui questa informazione è presente. Se l’ha visitata, è corretto usare la rievocazione o il riconoscimento.

Per capire invece se l’articolo acquistato può essere reso e in quali termini, ebbene, probabilmente bisogna leggere più pagine, valutare se ci sono condizioni differenti in base alla collocazione geografica o al tipo di articolo, e unire queste informazioni a quelle relative all’articolo prescelto e alla propria residenza, per ottenere una risposta. Questo significa aver compreso, anche se in nessun punto c’è scritto: questo articolo potrà essere reso entro 15 giorni se abiti a Trieste.

Per ogni argomento, va identificata la catena logica o i punti qualificanti che attestino che un certo contenuto è stato chiaramente capito. Solitamente questi punti attengono a caratteristiche del servizio.

Per una scuola, ad esempio, è qualificante che le persone capiscano chi può iscriversi, quali prerequisiti sono necessari, entro quale termine chiedere la preiscrizione, quali prove devono essere superate, dove e come si terranno, ecc. Questi punti forniranno la guida per valutare la comprensione da parte degli utenti.

2. Valutazione della comprensione

Invece di porre domande dirette, al termine del task o durante il task stesso (meglio entrambe le cose) si fa dire all’utente quello che ha visto e capito, in una verbalizzazione libera non guidata da domande esplicite, mentre si annota quali e quanti dei punti di controllo precedentemente identificati vengono menzionati correttamente.

Non è detto che tutto ciò che non viene menzionato non sia capito, ma ciò che viene menzionato è sicuramente stato capito. Per aumentare la facondità dell’utente ci sono tecniche di rispecchiamento, e solo come ultima ratio in alcuni casi si può ricorrere a domande dirette (quando si vuole per forza avere una risposta su uno specifico punto che l’utente insiste ad ignorare), ma con l’accortezza di evitare di includere nella loro formulazione indicazioni esplicite per la risposta.

In questo modo, testando diversi utenti, gli stessi punti di controllo diventeranno il metro per capire quali aspetti sono stati più o meno capiti, e su quali invece è necessario lavorare per chiarirli nel testo o nelle pagine.

Limiti e pregi di questo metodo

Il metodo ha limiti di soggettività. L’intervistatore/moderatore deve essere addestrato, in particolare a non guidare troppo e a non risultare troppo inquisitorio, cosa che è facile sbagliare (ed è tipicamente sbagliata da molti di coloro che svolgono test ma sono alle prime armi o vengono da una formazione non specifica).

Però ha il pregio di evidenziare specifici aspetti del modello mentale per come vengono riportati spontaneamente dall’utente. Nessuna formulazione verbale o scelta multipla li guida, nessuna domanda aperta o chiusa li indirizza. Si tratta di parlare di quello che si è capito, e notare se i punti che il progettista voleva fossero capiti vengono menzionati in modo corretto o fraintesi.

Un altro vantaggio di questo metodo è infatti che quando le incomprensioni sono chiare, emergono: ad esempio, un utente può esplicitamente dire una cosa completamente fraintesa, contraria ai punti di controllo. In tal caso siamo sicuri che è quello che lui pensa, al contrario delle risposte multiple, in cui capiamo magari che non ha capito, ma non sappiamo se la risposta scelta sia stata scelta a caso o sia quello che effettivamente lui ha capito. Questo ci guida anche nell’identificare i punti maggiormente fraintesi, per chiarirli o disambiguarli in una successiva formulazione del testo o delle pagine.

Testare la comprensibilità si può. Necessita di tecniche un po’ diverse da quelle che si trovano nei manuali di usabilità. Sebbene nessuno strumento sia perfetto, il metodo qui delineato ha vantaggi specifici che aiutano il progettista a capire quali punti sono sufficientemente chiari e quali altri vanno disambiguati o riprogettati. Che è il principale contribuito che possono offrire i test e le analisi di usabilità.