di Teresa Numerico
Codici Aperti. Un sentiero di lettura sull’uso politico dei Big Data a partire dai volumi di Virginia Eubanks e Safiya Umoja Noble. Le parole chiave usate nei motori di ricerca in Rete aprono le porte su un sistema digitale di governo finalizzato a riprodurre e rafforzare le discriminazioni razziali, di genere e le diseguaglianze di classe
Nel film di Ken Loach Io Daniel Blake, vincitore della palma d’oro a Cannes nel 2016, il protagonista è un lavoratore malato di cuore, privato della pensione di invalidità a causa di un errore. È costretto a chiedere il sussidio di disoccupazione ed entra nelle spire della burocrazia privata del welfare inglese, che gli impone di fare la domanda online e dimostrare che cerca lavoro per otto ore al giorno, senza avere un sostentamento, fino al tragico finale.
L’era digitale consente di aumentare l’ambito dei comportamenti umani per i quali è possibile registrare, monitorare e costruire procedure di valutazione. Non è detto però che questi meccanismi di misurazione e i conseguenti metodi di analisi e organizzazione dei dati, ormai molto noti come algoritmi siano sempre la migliore soluzione per trattare dei problemi delle persone e rispettare le loro prerogative. Il rischio è elevato per chi subisce le conseguenze di procedure automatiche per supportare la presa di decisione senza aver contribuito a costruire quei sistemi.
Il libro di Virginia Eubanks dal titolo Automating Inequality (St. Martin’s Press, 2018) affronta, con una lunga ricerca sul campo, il problema dell’uso della tecnologia per profilare, controllare e punire i poveri negli Stati Uniti. L’autrice, che insegna scienze politiche all’università di Albany Suny, analizza tre casi nei quali è stato costruito un sistema digitale per monitorare o risolvere problemi dei poveri o dei lavoratori. Il volume prende in esame tre situazioni: un tentativo di automatizzare l’accesso al welfare dei poveri in Indiana, un registro elettronico dei senzatetto a Los Angeles e un algoritmo basato su un modello di rischio per prevedere i casi di abuso e abbandono di minori in Pennsylvania. Alcune di queste procedure riguardano la raccolta dati sui poveri, altri i meccanismi algoritmici con i quali si decide come intervenire.
Il risultato delle sue ricerche è che questi sistemi contribuiscano a considerare la povertà come una sorta di colpa, impedendo alle persone di far valere i propri diritti, attraverso la creazione di cavilli burocratici che ne intralcino il processo. I poveri devono dimostrare il malfunzionamento eventuale del sistema e si trovano a contrastare un gigante che li schiaccia. Inoltre la tesi dell’autrice è che gli strumenti di automazione dei processi di acquisizione di dati non siano una tecnologia davvero innovativa, ma finiscano per creare una situazione simile a quella dell’Ottocento, con l’istituzione delle «case dei poveri», nelle quali le persone in difficoltà venivano chiuse, isolate dal resto del mondo, biasimate e incolpate per la loro condizione.
Le tecnologie di automazione costruiscono, secondo Eubanks, delle «case digitali dei poveri», in cui confinare e stigmatizzare le persone disagiate. Poveri e lavoratori sono schedati da strumenti di gestione digitale della povertà e rischiano di subire conseguenze gravi persino pericolose per la sopravvivenza. La mancanza di tutela della privacy e il controllo dei dati personali dei poveri non sono compensati da nessun miglioramento nella loro condizione; i modelli predittivi finiscono per considerare le persone bisognose come cattivi investimenti e genitori problematici a cui è meglio sottrarre preventivamente i bambini.
La gestione imprenditoriale automatizzata della presa di decisioni che riguardano poveri – disoccupati o lavoratori che siano – rischia di causare la progressiva invisibilità dei marginali che non sono più percepiti dalla classe media. Tale invisibilità non è il frutto del successo di questi strumenti ma di procedure che cancellano dalla vista i poveri recludendoli in spazi confinati che favoriscono decisioni inumane lontano dalla ipotetica consapevolezza etica e politica dei borghesi.
Questo risultato, secondo Virginia Eubanks, è il prodotto di algoritmi che sono in continuità con la tradizione americana di considerare la povertà una specie di malattia da nascondere, della quale sarebbe meglio vergognarsi, invece che permettere a chi la subisce di reclamare i propri diritti.
Si tratta della stessa tesi suggerita dallo scrittore inglese Samuel Butler nel suo romanzo satirico Erewhon (1872) nel quale gli abitanti dell’immaginaria colonia consideravano malattia e miseria crimini da punire mentre delitti e appropriazioni indebite erano come patologie da curare e compatire.
La povertà, insiste l’autrice, non è una condizione insulare, ma una terra di confine. C’è movimento lungo i suoi margini. Per la classe media le battaglie dei poveri non dovrebbero essere estranee anche perché sempre più categorie vengono risucchiate in quella soglia, e le esperienze di emarginazione avvengono a diversi livelli e potrebbero essere condivise. Sarebbe importante comprendere che combattere contro l’emarginazione del disagio economico riguarda non solo il piano etico e di giustizia sociale in senso assoluto, ma anche il continuo riposizionamento dei processi di costruzione della marginalità, in cui chiunque potrebbe incappare.
Eubanks invoca la definizione di una comune identità di lotta per la giustizia sociale e il rispetto dei diritti di tutte le categorie di esclusi. Un tema molto caldo nella tarda estate italiana, anti-immigrazione. Dopo gli immigrati sarà la volta di discriminare e incriminare altre diversità, forse con l’aiuto di asettici strumenti di profilazione, controllo e punizione.
Un altro lavoro recente che ha al centro il rapporto tra emarginazione, identità e algoritmi è Algorithms of oppression di Safiya Umoja Noble (New York University Press, 2018). L’autrice, esperta di critical information studies, si occupa degli effetti di controllo e trasformazione della società causati dagli strumenti digitali di organizzazione dell’informazione. In questo libro analizza i risultati dell’algoritmo di ranking di Google nella rappresentazione delle identità delle minoranze che amplifica gli stereotipi e influisce perfino sull’autopercezione che gli appartenenti a quelle minoranze hanno di sé. Per caso aveva, infatti, cercato nel motore di ricerca la stringa «black girls» e si era trovata di fronte una serie di siti pseudopornografici nei quali si discuteva delle qualità delle ragazze nere in un possibile flirt o si esibivano giovani donne discinte.
In conseguenza del clamore di questa ricerca e dell’importanza della minoranza nera negli Stati Uniti, al momento il risultato delle ricerche è cambiato. Tuttavia se si prova a usare altre stringhe simili come «asian girls» o «italian girls» la lista dei link non è molto diversa da quella denunciata da Noble per le giovani afroamericane. Gli algoritmi di ranking nei motori ricerca sono artefatti umani; nel caso di Google spesso gli ingegneri che li producono sono di sesso maschile e portano nel programma cliché e preconcetti personali e collettivi. Inoltre l’esercizio degli algoritmi è politico perché il codice è pieno di significati e valori che si introducono implicitamente nella società.
Il ruolo dei motori di ricerca nello strutturare e organizzare il sapere collettivo è cruciale, e sappiamo ormai bene che gli algoritmi – non solo quelli usati per organizzare i risultati delle ricerche sulle pagine web – sono inevitabilmente pieni di pregiudizi. Secondo l’autrice sarebbe necessaria una protezione legale contro una rappresentazione tanto inadeguata delle identità delle persone, perché la sistemazione della conoscenza, che sembra neutrale e invece non lo è, causa evidenti danni che si ripercuotono anche sull’autostima delle persone.
La proposta del libro per sottrarsi a queste conseguenze è avere motori di ricerca indipendenti, fonti pubbliche come le biblioteche e altre istituzioni comunitarie che dovrebbero essere protette perché rappresentano l’unica alternativa a un sistema che tradizionalmente presenta le donne e tutti i non bianchi negli Stati Uniti come persone la cui identità è secondaria e verso le quali si può essere predatori.
Un’interessante somiglianza tra le due ricerche, sebbene si occupino di questioni legate all’uso distorto degli algoritmi in ambiti diversi, è che entrambe le autrici segnalano come gli algoritmi e gli strumenti automatici per la raccolta e l’organizzazione di informazioni siano in continuità con una tradizione politica pubblica americana di emarginare le minoranze e tutti i diversi: siano essi poveri, appartenenti a una minoranza etnica, o a una minoranza di genere o politica, come è illustrato in modo dissacrante dall’ultimo film di Spike Lee BlacKkKlansman. In questo quadro gli algoritmi sarebbero uno strumento apparentemente neutrale con il quale proseguire la politica di ghettizzazione e marginalizzazione dei diversi.
Sarebbe auspicabile che chi deve prendere decisioni se ne assumesse la responsabilità perché l’equità e la giustizia sociale non si possono misurare in modo asettico o lasciare a un algoritmo predittivo. Inoltre per la definizione dell’identità di un gruppo e per molte altre ricerche sarebbe opportuno non fare affidamento sulle generiche risposte offerte da Google che sono orientate a fornire informazione in un quadro principalmente commerciale. L’importanza dell’educazione critica alle tecnologie digitali e all’information literacy è impossibile da sottovalutare e questo vale per le giovani generazioni, come per i burocrati e i politici che stabiliscono metodi per prendere decisioni di politica sociale.
(il manifesto, 25 settembre 2018)
