Tempo fa ho parlato di interfacce ingannevoli, che riflettevano algoritmi i cui effetti andavano a detrimento dell’utente, mentre facevano guadagnare in modo fraudolento il gestore del servizio.

La newsletter Guerre di Rete di Carola Frediani ci porta all’attenzione un nuovo caso, più sottile ma dalle forti implicazioni sul piano etico, commerciale, dei controlli. È quello degli algoritmi che le compagnie aeree utilizzano per decidere se far sedere assieme i membri di un gruppo o di una famiglia.

Il caso: passeggeri separati in volo

A partire dal 2017 la Civil Aviation Authority britannica, una agenzia di regolamentazione sull’aviazione civile corrispondente alla nostra Enac, ha intrapreso un’indagine per capire se tali algoritmi possano nuocere agli interessi della collettività. Ad esempio, separando i minori dai genitori, o i passeggeri con bisogni speciali dal proprio assistente. Le conseguenze in caso di evacuazione di sicurezza potrebbero danneggiare tutti, perché difficilmente durante un’emergenza un genitore lontano dal proprio figlio eviterebbe di cercarlo, con il rischio di ostacolare le operazioni.

L’indagine è stata condotta sia chiedendo informazioni sugli algoritmi usati da 10 diverse compagnie aeree; sia monitorandone gli esiti, attraverso un questionario su oltre 4000 persone che avevano volato in gruppo con le diverse compagnie.

Gli esiti attestano come minimo che le diverse compagnie utilizzano metodi diversi per decidere l’allocazione dei posti. I componenti di gruppi che non avevano pagato per la scelta del posto si sono trovate con probabilità molto diverse fra loro di finire separate. Ryanair è la compagnia dove questo capita più spesso, il 35% dei casi nel sondaggio. Seguita da Emirates con il 22%. Agli ultimi posti Flybe, Monarch Airlines e TUI Airlines, con il 12% di probabilità di volare separati.
Il riassunto dei risultati è disponibile in questa pagina.

Il problema dell’algoritmo

Che compagnie diverse utilizzino algoritmi differenti di assegnazione dei posti (per chi non paga la scelta) è confermato anche dalle informazioni fornite dalle compagnie stesse. La cosa interessante però è che nessuna compagnia afferma di voler separare di proposito i gruppi. Anzi: tutte dichiarano di adottare strategie per tentare di metterli assieme, solo che in determinate condizioni questo è difficile o impossibile.

Il fatto che una compagnia low-cost come Ryanair abbia un tasso di separazione più alto, non è visto dalla compagnia come un tentativo di guadagnare di più facendo pagare a parte il servizio, ma come semplice effetto di tempistiche di prenotazione differenti, diversificazione delle tariffe, ecc.

Ma anche se non vogliono esplicitamente separare le famiglie, il modo in cui le compagnie pesano i vari fattori di scelta nell’algoritmo automatico e nei controlli manuali ha risultati decisamente diversi. Potremmo dire che i diversi algoritmi hanno dei bias diversi.

Monitorare gli algoritmi significa monitorarne gli esiti

Chiunque programmi sa che il peso che si dà a qualunque variabile in un algoritmo decisionale opera distorsioni. L’indagine del CAA lo mostra con particolare evidenza. E mostra con particolare evidenza anche come esista un problema di trasparenza di queste pratiche.

Le compagnie hanno tutte risposto alle domande dell’ente di regolazione, ma se si fosse basato solo su quelle risposte, l’ente non sarebbe stato in grado di evidenziare differenze specifiche nei risultati. Le dichiarazioni infatti sono quasi sempre nel senso del tentativo di favorire l’allocazione vicina per i posti dei gruppi.

Dunque è solo con un monitoraggio degli esiti (benché con strumento inevitabilmente imperfetto come un questionario a campione) che si possono evidenziare asimmetrie.

A questo punto, il CAA metterà a punto un framework di buone pratiche e di indicazioni su come migliorare questi esiti, proprio per la tutela del bene comune, pur considerando lecite in alcuni casi le differenziazioni tariffarie che le compagnie operano. L’adozione del framework dovrà poi nuovamente essere valutato sia con nuovi contatti con le compagnie aeree che dovranno dire cosa hanno cambiato e implementato nei loro algoritmi, sia con nuovi monitoraggi degli esiti.

Capire i controlli e finanziarli

Il problema sotteso al caso è ben esemplificato dal modo in cui The Independent ha posto la questione: secondo il ministro per il digitale Margot James le compagnie userebbero gli algoritmi per separare artatamente i gruppi. Non vi è questa evidenza¹, a quel che posso capire, nel report della CAA. E non è quello che le compagnie dicono.

Ma, e qui sta il problema, non vi è nemmeno certezza del contrario. Il fatto che alcune compagnie abbiano tassi di separazione così più alti di altre potrebbe essere frutto:

• del caso;
• di un algoritmo tarato male;
• o di un algoritmo che mira semplicemente ad ottimizzare i guadagni;
• di una precisa intenzione.

Il punto è che a priori non lo sappiamo. Forse non lo sanno neanche le compagnie stesse…

I controlli dunque in questi settori sono particolarmente importanti. E non possono che essere svolti da organismi e autorità indipendenti. Con metodi vari: sia con la possibilità di accedere a informazioni dirette sul funzionamento degli algoritmi, sia, come detto, verificandone gli esiti sui grandi numeri.

I controlli degli algoritmi sono un’esternalità negativa

Questo vale e varrà sempre di più in un mondo dominato da scelte automatizzate. Le procedure di monitoraggio sono però onerose. E a fronte dei miglioramenti di efficienza che molti settori traggono dall’applicazione di algoritmi, non si può non vedere l’aggravio di costo sociale.

Non solo gli effetti di algoritmi sbagliati o fraudolenti, ma anche i costi dei controlli vengono al momento scaricati sulla collettività, su authority pubbliche o anche private che devono essere finanziate, e che comunque rischiano di arrivare a danno fatto, fotografando sempre il passato e venendo superate dagli eventi.

Il governo britannico prova quindi a lanciare una consultazione per un Centro sull’Etica dei Dati e dell’Innovazione

Di costi sociali avevamo già parlato qui in relazione a Facebook, e tutto lascia intendere che dovremo parlarne ancora, nel futuro. Sia che l’intento degli erogatori dei servizi sia fraudolento, sia che non lo sia: il problema è nell’essenza stessa della scatola nera, e del mero orientamento all’obiettivo che l’azienda si dà.

Un tema che tuttavia rischia di sfuggire ai regolatori, come la dichiarazione allarmata ma semplificata del ministro britannico dimostra. Vedremo come questo Centro per l’etica dei Dati e dell’Innovazione funzionerà. In attesa che qualcosa si muova anche qui sul versante del monitoraggio di questo genere di problemi, sarà bene che tutti iniziamo a pensarci.