5 Marzo 2019
il manifesto

Le insidie dei big data cancellano le donne

di Marina Catucci

 

Non si può dire che il patriarcato sia un fenomeno antico il quale, per sopravvivere e replicarsi, non si rinnovi; in questa stagione storica, il fenomeno di adattamento di questo pachiderma sociale che non si dissolve, ma si trasforma per riadattarsi alle circostanze in continuo mutamento, si è confrontato e riposizionato nello spazio digitale.

In tale area di pensiero si trova la matematica e scrittrice Cathy O’Neil, autrice del blog mathbabe.org, dove sono raccolti molti dei suoi principali articoli. Di formazione californiana ma ora residente a New York dal 2011, O’ Neil è stata uno dei membri attivi di Occupy Wall Street, movimento anticapitalista che ha aperto la via alla nuova onda socialista americana. All’interno di Ows, si è impegnata nel dibattito sul rapporto tra tecnologia, politica e ingiustizia sociale, e nel suo ultimo libro, Weapons of Math Destruction (in Italia pubblicato da Bompiani, 2017), ha spiegato come gli algoritmi usati per decodificare il fenomenico non sono elementi neutrali e non si espongono solo al rischio di produrre risultati sbagliati, ma «aumentano le diseguaglianze e costituiscono una minaccia per la democrazia».

Uno dei suoi ultimi Ted Talk si intitolava L’era della fede cieca nelle grandi masse di dati deve finire, ed è lo stesso concetto che ha dettagliato nel libro dove spiega che gli algoritmi, anche se vengono elaborati da strumenti privi di emotività e pregiudizi sociali, vale a dire dai computer, non vuol dire che non possano, a loro volta, riprodurre vecchi pregiudizi e produrre vecchie o nuove ingiustizie sociali. Discriminazione femminile inclusa.

Informazioni mai estranee

O’Neil in un suo articolo recente ha raccontato che un gigante di Internet come Amazon si è imbattuto in un problema che illustra in modo eloquente le insidie dei big data in senso misogino: la compagnia di Jeff Bezos ha tentato di automatizzare le assunzioni usando un algoritmo di apprendimento automatico, ma alla sua verifica ha realizzato che questo si limitava a perpetuare il pregiudizio contro le donne all’interno dell’industria tecnologica. Ciò che più preoccupa non è la scoperta in sé, ha scritto O’Neil, ma che la maggior parte delle aziende che utilizzano algoritmi simili non vogliano nemmeno saperlo.

Più di un anno fa, usando come esempio la cultura dominata dagli uomini propria dell’emittente televisiva conservatrice Fox News, aveva spiegato come gli algoritmi di apprendimento automatico analizzano i dati del passato per capire cosa avrà successo in futuro. In un’azienda con una cultura misogina come Fox News il computer vedrebbe che le donne sono promosse meno frequentemente, tendono a lasciare il lavoro e ottengono meno aumenti, arrivando così alla conclusione che gli uomini sono delle scelte migliori, perpetuando e persino amplificando il pregiudizio storico.

Il motore di reclutamento di Amazon, ha spiegato O’Neil, ha fatto di tutto per identificare ed eliminare le donne. La presenza nel curriculum della frequenza in un’università femminile nella sezione «istruzione», era di per sé un elemento automatico di demerito. Al contrario, la presenza di un vocabolario tipicamente maschile, con termini come «eseguito», era un punto a favore.

Questi sono solo due esempi di come i computer possono setacciare i dati per trovare i proxy per le qualità che vogliono cercare o evitare. Ciò che appare come informazione estranea e irrilevante è invece correlata a elementi come sesso, razza e classe sociale; che ci piaccia o meno, il genere, la razza e la classe sociale sono molto importanti nel modo in cui funziona il nostro mondo, quindi i loro segnali sono molto forti e ciò consente ai computer di discriminare senza che i loro creatori lo facciano intenzionalmente.

Algoritmi discriminanti

Quello che rende insolito l’esempio di Amazon è che in realtà la società ha scoperto il pregiudizio inquietante ed ha deciso di non utilizzare l’algoritmo e, fa notare O’Neil, «questo è molto più di quanto la maggior parte delle aziende possa dire. Cercano di fingere che tali problemi non esistano, anche se raddoppiano e triplicano le assunzioni il licenziamento o altri algoritmi di risorse umane, e persino mentre vendono o implementano algoritmi di credito, assicurativi e pubblicitari. Lo so perché gestisco un’azienda che controlla gli algoritmi e ho riscontrato più volte questo problema. Le aziende vogliono una negabilità plausibile, ma non saranno in grado di nascondere a lungo le teste nella sabbia. Emergeranno sempre più casi come quelli di Amazon. Giornalisti e i regolatori inizieranno a unire i punti. Idealmente, le aziende dovranno affrontare il problema, il che significherà spendere molto di più per le assunzioni o almeno per assicurarsi che i loro algoritmi non stiano facendo discriminazioni illegali».

Viviamo quindi in una società – le abbiamo chiesto – dove si può a ragion di logica tranquillamente parlare di una lettura degli algoritmi come discriminanti nei confronti delle donne o vincolati a una logica patriarcale? «In generale è così – ha affermato – e non perché i produttori di algoritmi stiano attentamente e intenzionalmente operando una discriminazione verso le donne, ma per due ragioni. Innanzitutto, senza cura né intenzione, addestrano gli algoritmi basandosi sul passato, su dati che riflettono ‘come funzionavano le cose’ includendo il modo in cui le donne venivano pagate, cioè di meno, ottenendo poche promozioni e venendo per lo più ignorate. Per essere chiari: questa potrebbe essere la storia recente piuttosto che la storia di un passato a lungo termine, visto che tutto ciò è ancora vero. In secondo luogo, gli algoritmi vengono ottimizzati per un certo tipo di successo che in genere privilegia le persone considerate «di successo» nel passato, vale a dire gli uomini. Un’ultima cosa: l’ambito scientifico dell’analisi dei dati, come comunità, ha avuto questi punti ciechi in gran parte perché è composta principalmente da uomini, bianchi o asiatici, di successo, che non affrontano molte discriminazioni e sono quindi abituati alla loro presenza e ai loro effetti. In questo senso, la diversità all’interno della comunità della scienza di analisi dei dati o, in realtà, la mancanza di diversità, sta causando direttamente dei problemi a chiunque sia un obiettivo degli algoritmi di dati scientifici, possiamo asserire dunque al mondo intero».

Predizioni viziate

Gli stereotipi sulle donne, quindi, secondo O’Neil, sono funzionali alla società capitalista. «Fino a quando domande come ‘chi è / un assunto di successo’ saranno inquadrate in termini di profitto o altrimenti quantificate – spiega ancora – queste andranno a mappare in gran parte gli schemi storicamente tradizionali di ‘chi ha avuto successo nel passato’, che nel nostro contesto patriarcale finiscono tipicamente per essere uomini. Faccio un’analogia: se cento anni fa avessimo voluto sviluppare un algoritmo predittivo per ipotizzare chi sarebbe potuto essere un grande pittore, ci saremmo allenati usando i dati in nostro possesso a quei tempi, e questo avrebbe significato analizzare un gruppo di uomini europei che potevano contare su dei ricchi mecenati, così probabilmente avremmo profetizzato che in grande pittore sarebbe potuto essere un ragazzo bianco (di talento) con degli amici benestanti e una rete di connessioni. In altre parole, saremmo stati portati a seguire i soldi. È così che funziona anche adesso, in un modo un po’ meno estremo».

 

BIOGRAFIA

Cathy O’Neil, dopo aver conseguito un dottorato in Matematica a Harvard e un post-dottorato al dipartimento di Matematica del Mit, ha insegnato al Barnard College di New York. Ha lasciato la cattedra all’università per lavorare prima come analista quantitativa per Thedge fund D. E. Shaw e poi come Data Scientist per diverse start up nel settore delie-commerce. Disillusa dal mondo della finanza e dei Big Data, e dal cattivo uso dei modelli matematici, si è unita al movimento Occupy Wall Street, impegnandosi nel dibattito sul rapporto tra tecnologia, politica e ingiustizia sociale. Nel libro «Armi di distruzione matematica» (Bompiani in Italia 2017), l’autrice indaga le conseguenze negative della società dei dati, le distorsioni e degenerazioni, le semplificazioni colpose e l’uso dei dati in modo strumentale e violento.

 

(il manifesto, 5 marzo 2019)

Print Friendly, PDF & Email