Card sorting per lo User-Centered Design

Il card sorting è un metodo di classificazione usato spesso nello user-centered design per definire architettura informativa o schema di navigazione di un sito. È un metodo empirico che ha una tradizione molto lunga in campi diversi delle scienze sociali. Vediamo qui, attraverso una serie di domande e risposte, alcuni concetti base per capire meglio i pro e i contro del card sorting, gli strumenti utilizzabili e i pregi e i limiti dello strumento.

Cos’è il card sorting?

È un metodo di coinvolgimento degli utenti per definire raggruppamenti (classificazioni, categorizzazioni) di contenuti. Si scrive ogni contenuto su un cartoncino e si chiede a diversi utenti di classificarli per somiglianza.

Ad ogni gruppo gli utenti possono assegnare un titolo.

Si possono compiere poi diverse analisi sui raggruppamenti ottenuti. Fra queste:

  1. Cluster analysis
  2. Analisi a coppie (pairwise analysis)
  3. Label analysis
  4. Analisi del consenso fra i partecipanti

Queste analisi possono servire a formarsi un quadro più chiaro di come gli utenti immaginano lo spazio concettuale relativo ai contenuti.

Come si definiscono i contenuti da sottoporre a card sorting?

Se il sito è già esistente, si fa un inventario dei contenuti già esistenti o di quelli in previsione.
In caso contrario, i contenuti devono essere definiti attraverso indagini con gli stakeholder. Fra questi, i committenti del sito, gli utilizzatori, gli autori di contenuti.

I metodi che consentono di raccogliere un elenco di contenuti da considerare sono:

  • Free-listing
  • Interviste
  • Focus group

I contenuti raccolti vanno poi confrontati. Contenuti sovrapponibili vengono uniformati e viene formata una lista finale da sottoporre agli utenti.

Quanti contenuti/cartoncini è bene utilizzare?

Sebbene si possano fare card sorting con un numero indefinito di contenuti, è probabilmente bene limitarsi ad un numero fra 50 e 70, più che altro perché oltre questo numero (ma già sopra i 50) il processo di ordinamento diventa lungo e oneroso per gli utenti. Tuttavia non vi sono dei chiari limiti in letteratura. Si tratta di indicazioni empiriche.

Se si parte da un elenco molto numeroso, può dunque essere utile utilizzare soltanto i primi 50 contenuti. In quel caso è necessario procedere ad un ordinamento di importanza.

E cos‘è l’ordinamento di importanza?

L’ordinamento di importanza è un metodo con il quale si chiede a degli utenti di dare un giudizio di importanza (su una scala a intervalli di tipo Likert, da 1 a 5 o da 1 a 7) a ciascuno degli argomenti della lista. I giudizi degli utenti vengono sommati per ogni elemento e i primi 50 elementi per ordine di importanza vengono utilizzati per l’ordinamento finale.

L’ordinamento si fa in sessioni singole o collettive?

Ogni utente deve ordinare da solo i contenuti, ma niente vieta di ospitare più utenti contemporaneamente, su tavoli diversi.

A mano non è una cosa lunga?

Abbastanza. Soprattutto è abbastanza lungo l’inserimento dei dati nel computer per le analisi statistiche. Esistono perciò anche dei software che consentono di automatizzare le operazioni di ordinamento con un’interfaccia grafica, di registrare automaticamente i raggruppamenti e le etichette assegnate ad ogni gruppo dagli utenti e infine di compiere alcune analisi.

Come si fa a trattare poi i dati?

Bisognerebbe riportare in una matrice i gruppi creati e associare ad ogni cartoncino il gruppo in cui è stato inserito per ogni utente.
Un altro modo per trattare i dati è creare matrici di similarità. In sostanza, si considera quante volte a ogni cartoncino è stato inserito in uno stesso gruppo dai diversi utenti. Se due cartoncini sono stati sempre classificati insieme da tutti gli utenti, la loro somiglianza sarà del 100%.

Al contrario, la matrice di dissimilarità assegna valore 0 a elementi molto simili, e valore 1 a elementi molto differenti.

A partire dalla matrice di dissimilarità o di similarità si possono compiere diverse analisi. La più diffusa è l’analisi dei cluster gerarchica (a partire dalla matrice di dissimilarità), ma si possono usare altre tecniche di analisi multivariata che mirano ad estrarre dei fattori comuni latenti che spiegano la variabilità di ordinamento dei cartoncini, cioè i gruppi. Molte tecniche non tengono conto delle etichette creati per i gruppi dai vari utenti, ma creano gruppi simili di oggetti a cui poi lo sperimentatore deve assegnare un nome.

E i titoli che vengono assegnati dagli utenti ai diversi gruppi?

Possono venir utilizzati per analisi ulteriori o per una valutazione esperta. Ad esempio, Donna Maurer, un’esperta di card sorting e autrice (assieme a Todd Warfel) di un ottimo articolo in materia, consiglia di operare una cosiddetta standardizzazione delle categorie. Cioè, può darsi che a gruppi molto simili (che contengono cioè le stesse carte) due utenti diversi abbiano dato nomi differenti. Ma nell’analisi finale queste due classificazioni potrebbero essere sostituite da un’unica etichetta. Questa etichetta potrebbe poi essere usata in un’analisi successiva.

Tuttavia, ancora più interessante è il metodo chiamato label analysis e implementato/ideato da Jorge Toro per il software CardZort. In pratica, per ogni gruppo ottenuto con la cluster analysis, il software presenta una serie di etichette con una percentuale che rappresenta quanto quell’etichetta sia coerente con quel gruppo di voci. In pratica, se nel gruppo che stiamo esaminando tutte le voci sono state etichettate in quel modo, l’adeguatezza è del 100%. Altre voci possono essere associate al gruppo con coerenza minore. Spetta poi al ricercatore giudicare le diverse etichette usate per quelle voci e scegliere una sintesi adeguata che rappresenti al meglio il gruppo.

Ho sentito parlare di card sorting aperto e chiuso. Di che si tratta?

  • Nel card sorting aperto caso l’utente è libero di classificare le voci in quanti gruppi ritiene opportuno ed etichettarli a piacere. Così otteniamo informazioni sulle rappresentazioni mentali “spontanee” dell’utente.
  • Nel card sorting chiuso l’utente è chiamato a inserire le voci in alcune categorie prestabilite. Spesso si legge che questo metodo consente non di creare la classificazione ma di verificarne (o validarne) una esistente. Tuttavia Donna Maurer sottolinea che l’unica cosa che consente di verificare una classificazione esistente è chiedere a degli utenti di trovare cose usando quella classificazione e che dunque il card sorting chiuso sarebbe inutile. O meglio, servirebbe solo quando l’obiettivo è costruire una classificazione il cui scopo sarebbe quello di supportare dei compiti di classificazione. Ad esempio: dove inserirebbero la propria pagina alcuni autori di un’intranet?

Quando va eseguito il card sorting durante la progettazione di un sito?

Va eseguito prima della definizione dell’architettura informativa o degli schemi di navigazione del sito durante il processo di design.

Come si possono leggere e visualizzare i risultati? Non dovrò mica leggere matrici con numeri in percentuale?

Volendo sì. Altrimenti si possono usare dei grafici ad albero (dendrogrammi), o delle heat map.

esempio di grafico ad albero prodotto da un card sorting
Nell’immagine un esempio di dendrogramma derivato da un card sorting sugli articoli di questo sito. A seconda della soglia di correlazione scelta (riga rossa nell’immagine) vengono formati gruppi di articoli più o meno somiglianti, rappresentati dalle strisce colorate orizzontali

Nei dendrogrammi normalmente è possibile decidere una o più soglie di correlazione fra le voci, e determinare così dei gruppi, che sarebbero diversi se cambiassimo la soglia di correlazione. Meno sono somiglianti i gruppi, meno essi saranno numerosi e composti da un maggior numero di voci, e viceversa.

La scelta della soglia di correlazione spesso è oggetto di prove e di errori.

Che fare con i cartoncini che non possono essere classificati o che non risultano appartenere ad alcun gruppo?

Il mio consiglio è di non associarli fra loro: si tratta di voci singole, particolari, da mantenere isolate dal resto. Talvolta significa che quelle voci sono di natura diversa dal resto del corpus. Se si sta costruendo uno schema di navigazione, allora queste voci andrebbero fatte emergere a parte.

Cosa si può fare con i risultati del card sorting?

Spesso si dice che i risultati servono a definire l’architettura informativa o il sistema di navigazione. Ma questi due concetti non sono sovrapponibili.
L’architettura dell’informazione è il modo in cui il sito stabilisce delle relazioni fra i contenuti. Queste relazioni possono anche essere latenti, per esempio rappresentate con metadati invisibili all’utente (ma sensati per altri scopi).

Il sistema di navigazione invece è l’elenco delle voci che compongono uno o più menu di un sito. Un menu non corrisponde necessariamente all’albero o alla struttura di un sito. Ad esempio, un sito può essere organizzato per tipologie (saggi, articoli, interviste, recensioni), e una categorizzazione per argomenti può attraversare tutte le tipologie. Una categorizzazione per faccette per esempio non si sovrappone mai alla struttura logica del sito.
Struttura, categorizzazione e navigazione non sono la stessa cosa. Così non lo è l’architettura.

Il card sorting può aiutare ad esplorare o definire uno o più di questi strumenti concettuali. Può cioè essere usato per capire un modo latente di assegnare metadati ai contenuti, o per definire un menu di navigazione, o una struttura logica. Dipende dal progetto. L’importante è essere consapevoli dello scopo.

Inoltre il card sorting raramente può venir automaticamente tradotto in una qualsiasi delle strutture concettuali appena citate. Spesso l’output di un card sorting deve venir analizzato e adattato da un ricercatore, ma è un punto di partenza più vicino al mondo mentale dell’utente di quello che si otterrebbe facendo decidere agli esperti.

Quanti utenti sono necessari per ottenere risultati affidabili?

Secondo una ricerca1 del 2004, con 30 utenti si ottengono risultati affidabili al 95%. Nielsen consiglia 15 utenti per i progetti più comuni, che portano ad un’affidabilità del 90%, più che sufficiente. Non è stata però esplorata la relazione fra il numero di cartoncini e il numero di utenti.

Ma il card sorting funziona davvero?

Dipende. Devono essere rispettati alcuni criteri. In particolare, gli utenti devono capire il significato delle voci, e dovrebbero essere capaci di esplicitare i loro criteri di classificazione. Ci sono casi in cui questo si verifica e altri no. Meglio gli utenti conoscono un argomento, più è probabile che i requisiti siano rispettati. In ogni caso, usare un metodo come questo, empirico, consente anche di esplorare eventuali problemi legati al contenuto e al modo in cui gli utenti lo vedono, perciò è spesso consigliato, soprattutto se si hanno facilmente a disposizione gli utenti come nel caso di intranet o di applicazioni a dominio controllato o chiuso: call center, sistemi di faq, ecc. In questi ultimi casi, è particolarmente importante che lo schema di categorizzazione corrisponda al mondo mentale degli utenti, visto che dovranno quotidianamente lavorarci.

In quali progetti è meglio usare il card sorting?

Io li ho trovati particolarmente utili nella progettazione di ambienti chiusi, come intranet o call center che si appoggino a basi di dati da sfogliare, come detto. Ma anche in ambienti dai domini complessi per cui non esiste un metodo di classificazione condiviso.

Può essere utile anche per valutare distanze fra categorizzazioni esistenti e categorizzazioni dal basso, cioè costruite dagli utenti.

Inoltre di particolare utilità è usare il metodo per valutare quanto sono disperse queste classificazioni fra diversi utenti, o, in alternativa, quali singole voci sono più disperse. In pratica, di quali voci gli utenti fatichino a dare una collocazione univoca. Questo dà indicazioni utili su possibili criteri alternativi (ad esempio, uso di faccette) nella classificazione di alcuni elementi del corpo dei contenuti.

Quanto costa fare un card sorting?

Be’, dipende. Tenete conto che i costi principali sono quelli del reclutamento degli utenti e il tempo perso a condurre le sessioni di ordinamento. Poi, se dovete inserire i dati a mano nel computer, i tempi si allungano ancora. Ma se utilizzate dei software fin dall’inizio (questa ricerca di Bussolon, Del Missier e Russi, 108KB, in pdf, indica che c‘è un buon grado di somiglianza fra i due metodi), i tempi si accorciano molto. Il tempo per l’analisi dei dati dipende più che altro dalla vostra familiarità con il metodo.

Piuttosto che dare cifre, è bene dire che in un tempo che va dai 2 ai 5 giorni è normalmente possibile concludere un card sorting. I tempi possono naturalmente allungarsi in casi particolari, e spesso le giornate non riescono ad essere consecutive, il che complica sia la pianificazione che il budget. Ma questo si può dire praticamente di qualunque attività progettuale…

Quali software esistono per eseguire più rapidamente il card sorting?

Molti, come si può vedere da alcune risorse disponibili in rete. Esistono anche tool online, come websort o netsorting dell’italiano Stefano Bussolon (che li ha usati per progetti specifici descritti anche nel sito). Fra i tool da scrivania, invece, esiste un tool sviluppato da IBM e che è probabilmente il più famoso, EZSort. Però ha alcuni bachi (ogni tanto si chiude improvvisamente) e limiti nel numero di cartoncini. Ma, soprattutto, non è più supportato. Ne è ancora disponibile una copia su webarchive.

Qui parlo di quelli che ho usato più di recente e che secondo me sono i migliori per il mondo Mac e per il mondo Windows.

Per il mondo Windows: CardZort

Attualmente per Windows il migliore (sebbene non esente da bachi e piccoli problemi che possono anche diventare fastidiosi, specie nei primi utilizzi) è probabilmente CardZort, un tool a pagamento (150 dollari per computer) scritto da Jorge Toro per la sua tesi di dottorato e che però soffre di una tipologia di licenza molto vincolante (legata alla macchina: se cambiate computer perdete il programma!…). Consente una facile costruzione del set e un’agile esecuzione da parte degli utenti, anche se non offre la possibilità di creare sottogruppi.

Il pregio maggiore è probabilmente il fatto di essere l’unico software attualmente noto a compiere anche la label analysis, secondo un algoritmo ideato dallo stesso autore, che fornisce indicazioni di grande utilità per una prima valutazione dei termini usati dagli utenti.

Per il mondo Mac: xSort

Per il mondo Mac è molto convincente (e di usabilità nettamente superiore a tutti gli altri) xSort, un tool anch’esso a pagamento sviluppato da iPragma (licenze convenienti, a partire da 29 euro aggiunta di ottobre 2008: il software è ora gratuito!) che consente la creazione di veri e propri set sperimentali, con definizione di gruppi di utenti (in modo da analizzare rapidamente le differenze di classificazione, poniamo, fra maschi e femmine, o fra giovani e anziani), la possibilità di creare tramite drag & drop quanti gruppi si vuole e organizzarli anche in sottogruppi. Interessante anche la possibilità di generare in automatico sia analisi che report multipli (questi ultimi però solo in inglese). Se includesse anche una funzione per la label analysis sarebbe un tool perfetto.

Se usati da operatori esperti, questi strumenti automatizzano il lavoro e consentono di compiere analisi e confronti molto rapidamente, ma sono divertenti anche per i principianti, perché consentono di sperimentare la tecnica. Sarebbe però utile un tool che unisse i pregi di entrambi quelli citati. Attualmente dovete invece decidere quale operazione vi serve di più e usare il tool più appropriato, a meno di non convertire i dati (xSort ha una feature di importazione di dati in XML, ma cardZort usa un formato diverso, perciò dovrete lavorarci a mano o scrivere un’utility di conversione).

E se volessi analizzare i dati a mano?

È possibile farlo, ma è bene conoscere alcune basi statistiche che riguardano la correlazione fra variabili nominali. Joe Lamantia ha predisposto un file excel, con un articolo di istruzioni sull’uso. Donna Maurer ne ha proposto un’altro. Il metodo è comunque un po’ macchinoso e a mio parere suscettibile di errori, proprio a causa dell’inserimento manuale ripetuto. Personalmente lo consiglio solo ad esperti che vogliono compiere analisi raffinate.
Per gli altri, è meglio forse usare un software fra quelli disponibili, che generano facilmente dei dendrogrammi, i grafici che consentono di comunicare meglio i risultati anche al management.

Alcuni link utili

1 Tullis, T., and Wood, L. (2004), “How Many Users Are Enough for a Card-Sorting Study?” Proceedings UPA’2004 (Minneapolis, MN, June 7-11, 2004). ^