Algoritmi persuadenti con un Nudge AI

La verifica dei fatti può ridurre la diffusione di notizie inaffidabili. Può anche fare l'opposto.

(questo post è originariamente apparso su civilservant.io)

I lettori di r / worldnews su reddit spesso riportano notizie sui tabloid ai moderatori volontari, chiedendo loro di vietare i tabloid per i loro articoli sensazionalizzati. Queste storie abbellite catturano lo sguardo delle persone, attirano polemiche e vengono notate dall'algoritmo di ranking di reddit, che le diffonde ulteriormente.

Il divieto delle notizie sui tabloid potrebbe porre fine a questo ciclo di feedback, ma i moderatori della community si oppongono ai divieti generali. Per risolvere questo enigma, i moderatori dovevano rispondere a una domanda al centro dei dibattiti sulle cosiddette "fake news": come possiamo preservare la libertà dei collaboratori influenzando al contempo il comportamento reciproco delle persone e degli algoritmi per il bene della comunità?

Questo inverno, i moderatori hanno lavorato con CivilServant per testare un'idea: quali sono gli effetti dell'incoraggiamento del controllo dei fatti sulla risposta a notizie inaffidabili? Volevamo vedere come la comunità r / worldnews avrebbe risposto. Abbiamo anche osservato l'effetto sulle classifiche di reddit. Se gli algoritmi di reddit interpretassero il controllo dei fatti come popolarità, gli articoli inaffidabili potrebbero diffondersi ulteriormente.

Le notizie sui tabloid rappresentano circa il 2,3% di tutti gli invii a questa comunità di 15 milioni di iscritti che discute di notizie al di fuori degli Stati Uniti. In r / worldnews, 70 moderatori esaminano circa 450 articoli al giorno e consentono al 68% di tali articoli di rimanere. Dal momento che è un subreddit predefinito, la maggior parte dei lettori reddit riceve notizie dal mondo attraverso questa community. Mentre la portata della comunità è sminuita da Facebook, r / worldnews potrebbe essere il più grande singolo gruppo per discutere di notizie dal mondo ovunque in Internet di lingua inglese. Anche piccoli effetti in questa comunità possono fare una grande differenza nel modo in cui milioni di persone hanno un senso di informazioni potenzialmente inaffidabili sul mondo.

Nel nostro studio dal 27 novembre al 20 gennaio, abbiamo testato i messaggi A / B per incoraggiare la comunità a controllare i fatti e votare le notizie sui tabloid. Ecco cosa abbiamo trovato:

L'effetto di incoraggiare la verifica dei fatti sul comportamento della comunità

All'interno delle discussioni sugli invii di tabloid su r / worldnews, l'incoraggiamento del controllo dei fatti aumenta in media il tasso di incidenza dei commenti con collegamenti di 2x, e l'incoraggiamento del controllo dei fatti + voto ha un effetto simile.

L'effetto di incoraggiare il controllo dei fatti sugli algoritmi di Reddit

Osservando oltre 24 ore, abbiamo anche scoperto che in media, i commenti appiccicosi che incoraggiavano il controllo dei fatti hanno causato una riduzione del 2x del punteggio di reddit degli invii di tabloid, un effetto statisticamente significativo che probabilmente ha influenzato le classifiche nel subreddit. Quando abbiamo anche incoraggiato i lettori a votare, questo effetto è scomparso.

AI Nudges: persuadere gli algoritmi preservando la libertà

Le nostre domande sulle notizie sui tabloid hanno aggiunto una dimensione algoritmica a una classica domanda di governance: come possono le persone con potere lavorare verso il bene comune minimizzando i vincoli alla libertà individuale?

possiamo persuadere gli algoritmi a comportarsi diversamente persuadendo le persone a comportarsi diversamente.

Su Internet, le persone imparano a convivere con i sistemi di intelligenza artificiale che non possono controllare. Ad esempio, i conducenti di Uber modificano la guida per ottimizzare il proprio reddito. Il nostro comportamento collettivo influenza già continuamente i sistemi di intelligenza artificiale, ma finora al pubblico mancano informazioni su cosa sia effettivamente quell'influenza. Questi risultati opachi possono essere un problema quando gli algoritmi svolgono ruoli chiave nella società, come la salute, la sicurezza e l'equità. Per risolvere questo problema, alcuni ricercatori stanno progettando sistemi "società nel circuito" [4]. Altri stanno sviluppando metodi per l'audit degli algoritmi [5] [6]. Eppure nessuno dei due approcci offre un modo per gestire il comportamento quotidiano dei sistemi di cui non possiamo controllare il codice. Il nostro studio con r / worldnews offre una terza direzione; possiamo persuadere gli algoritmi a comportarsi diversamente persuadendo le persone a comportarsi diversamente.

Alcune persone potrebbero chiedersi se questo esperimento costituisca una manipolazione del voto, il che è contrario alle politiche di reddit. Le nostre note adesive non violano nessuna delle regole di reddit per guadagno personale (non abbiamo nemmeno creato account falsi, detto alle persone come votare o organizzando un blocco di voto). Ma abbiamo dimostrato che incoraggiare le persone a verificare i fatti ha avuto un effetto sistematico sugli algoritmi di reddit.

L'idea di "Nudges AI" ci dà un modo di pensare agli sforzi a favore della società per influenzare il comportamento umano e meccanico preservando la libertà individuale. Richard Thaler e Cass Sunstein hanno proposto per la prima volta di "spingere" come un modo per le istituzioni di esercitare il loro potere preservando la libertà individuale [7]. Rispetto al divieto delle notizie sui tabloid, la spinta dell'intelligenza artificiale di incoraggiare il controllo dei fatti è l'azione più leggera che i moderatori potrebbero intraprendere. La capacità di nessuno di condividere notizie, commenti o voti viene eliminata, ma la spinta dell'IA smorza ancora la diffusione di notizie inaffidabili.

Come sottolinea Sunstein e Thaler, non è sempre ovvio se questi interventi di tocco leggero avranno il risultato desiderato. Ecco perché dovremmo testare sistematicamente i loro effetti, soprattutto perché i sistemi non testati possono avere risultati inattesi.

Governance ed etica dei nudges AI

Le spinte da parte dei governi e gli esperimenti sociali su piattaforme online spesso attraggono critiche simili. Penso che le persone abbiano ragione ad aspettarsi la responsabilità da coloro che esercitano il potere di spinta. Lavorando con moderatori volontari, sono stato in grado di lavorare con livelli di trasparenza e responsabilità superiori a quelli tipici del social computing. Tutti gli studi di CivilServant sono progettati con e da team di moderazione e tutti i risultati sono divulgati prima alla comunità in un debriefing subreddit. I nostri progetti di studio sono elencati pubblicamente su Open Science Framework prima di iniziare e tutto il nostro codice è open source. I dettagli dell'analisi completa sono anche pubblici, quindi chiunque può verificare le nostre conclusioni. L'unica cosa che tratteniamo sono i dati reali, poiché rispettiamo la privacy di tutti i soggetti coinvolti.

Nel complesso, spero che i nudges dell'IA, soprattutto se guidati dalle stesse comunità, offrano al pubblico una direzione entusiasmante per gestire il ruolo degli algoritmi nella società, preservando al contempo la libertà individuale.

Come ha funzionato lo studio

Per questo test, i moderatori hanno iniziato con un elenco di fonti di notizie che spesso ricevono lamentele. Dal 27 novembre al 20 gennaio, abbiamo assegnato casualmente ogni nuovo link tabloid a una delle tre condizioni: (a) nessun commento appiccicoso, (b) un commento appiccicoso che incoraggia lo scetticismo, (c) un commento appiccicoso che incoraggia lo scetticismo + voto (dettagli completi qui ).

Abbiamo pubblicato questo messaggio all'inizio delle discussioni sulle notizie sui tabloid

Il secondo incoraggia le persone a controllare l'articolo e prendere in considerazione il downgrade del link se non riescono a trovare prove a sostegno delle sue affermazioni:

Questo secondo messaggio ha incoraggiato le persone a prendere in considerazione il downvoting

Il comportamento di verifica dei fatti può influenzare in che modo gli algoritmi di reddit vedono notizie inaffidabili?

Mentre eravamo fiduciosi che i lettori di r / worldnews avrebbero aiutato se i moderatori lo avessero chiesto, ci siamo anche chiesti: se aumentassimo i commenti sulle notizie sui tabloid, potremmo accidentalmente causare algoritmi di reddit per promuovere quei collegamenti tabloid?

Se il controllo dei fatti aumentasse la popolarità di fonti di notizie inaffidabili, la comunità potrebbe aver bisogno di ripensare a dove mettere i propri sforzi. Ecco perché i moderatori hanno testato un secondo commento appiccicoso, quello che incoraggia i lettori a considerare il downvoting.

Per testare l'effetto dei commenti appiccicosi sugli algoritmi di reddit, il software CivilServant ha raccolto dati sul punteggio dei post ogni quattro minuti. La piattaforma non pubblica esattamente ciò che va nella partitura o esattamente come funzionano le sue classifiche (ho chiesto). Tuttavia, siamo stati in grado di prevedere in modo affidabile il ranking della pagina CALDO subreddit di un post dalla sua età e punteggio (dettagli completi qui). Fondamentalmente, se il controllo dei fatti ha avuto un grande effetto sul punteggio di un articolo, allora probabilmente ha avuto un effetto sul posizionamento di un articolo nel tempo sulla prima pagina di subreddit. L'ho provato in due modi: confrontando i punteggi dopo 24 ore e modellando le variazioni dei punteggi nel tempo.

Ho usato un modello binomiale negativo per testare l'effetto sui punteggi dopo 24 ore. Mentre gli algoritmi di reddit si fermavano durante il nostro esperimento, l'incoraggiamento del controllo dei fatti ha fatto sì che gli invii dei tabloid ricevessero il 49,1% (2,04 volte in meno) il punteggio degli invii senza commenti appiccicosi, dopo 24 ore, in media in r / worldnews. L'effetto è statisticamente significativo. In questo modello, non sono riuscito a trovare un effetto dai commenti appiccicosi che hanno incoraggiato i lettori a considerare il downvoting.

Ho anche testato l'effetto del controllo dei fatti sul tasso di crescita del punteggio di un post nel tempo. Per porre questa domanda, inserisco un modello di regressione lineare di intercettazioni casuali sul punteggio trasformato nel registro per un post ogni quattro minuti. Ho scoperto che l'incoraggiante verifica dei fatti causa un tasso di crescita del punteggio più basso. Qui, ho scoperto che il voto incoraggiante ha effettivamente un piccolo effetto positivo sul tasso di crescita del punteggio nel tempo, in media. Poiché stavamo eseguendo l'esperimento durante una modifica degli algoritmi di reddit all'inizio di dicembre 2016, ho anche scoperto che l'effetto di questi commenti appiccicosi sugli algoritmi di reddit potrebbe essere cambiato dopo che reddit ha modificato i suoi algoritmi (dettagli).

Chi ha aiutato a controllare i fatti Gli articoli sulle notizie?

Dei 930 commenti non bot con collegamenti che i moderatori hanno potuto rimanere, 737 account utente hanno fornito collegamenti a ulteriori prove. Di questi, 133 account hanno fatto più di un commento con collegamenti. Molte persone hanno verificato le proprie osservazioni, con i presentatori che hanno pubblicato 81 commenti per ulteriori informazioni.

Cosa non possiamo sapere da questo studio?

Questo test esamina i risultati nelle discussioni piuttosto che nei singoli account, quindi non possiamo sapere se le singole persone erano convinte di essere più scettiche o se i commenti appiccicosi hanno portato le persone già scettiche a indagare e condividere. Inoltre, non ho alcuna prova dell'effetto del controllo dei fatti sui lettori, sebbene altre ricerche suggeriscano che il controllo dei fatti influenzi le credenze dei lettori [2] [3].

Questo studio non può dirci molto sul perché vediamo un cambiamento così grande negli effetti algoritmici quando modifichiamo il messaggio incoraggiando i lettori a considerare il downvoting. Questa differenza può essere un esempio di ciò che gli psicologi chiamano "reattanza", una resistenza ai suggerimenti dell'autorità. Oppure, se i giornalisti temono che i loro link possano essere sottoposti a downgrade, potrebbero chiedere aiuto, il che equilibra il comportamento dei lettori.

Funzionerebbe con altri tipi di link, in altri subreddit o su altri siti? Questo studio è limitato a una specifica comunità e un elenco di siti. Mentre sospetto che molte grandi comunità online di lettori aiuterebbero a verificare i collegamenti se i moderatori lo chiedessero, le nostre scoperte sull'algoritmo reddit sono molto più situate.

Potremmo rispondere a queste domande se più subreddit decidessero di provare esperimenti simili. Se sei interessato, contattami su reddit per discutere di eseguire un esperimento simile e iscriverti per ricevere aggiornamenti via e-mail.

Ulteriori informazioni su questo esperimento

Il mio dottorato prevede il supporto di comunità per testare gli effetti delle proprie pratiche di moderazione. Ho progettato questo esperimento insieme ai moderatori di r / worldnews ed è stato approvato dal comitato del MIT sull'uso degli esseri umani come soggetti sperimentali. In caso di domande o dubbi, contattare natematias su redditmail.

Questo esperimento, come tutta la mia ricerca su reddit finora, è stato condotto indipendentemente dalla piattaforma reddit, che non ha avuto alcun ruolo nella pianificazione o nella progettazione dell'esperimento. L'esperimento non è stato ancora sottoposto a revisione paritaria. Tutti i risultati di CivilServant vengono inviati pubblicamente alle comunità coinvolte non appena i risultati sono pronti, con pubblicazioni accademiche in arrivo.

Tutti i dettagli dell'esperimento sono stati pubblicati in anticipo in un piano di pre-analisi all'indirizzo osf.io/hmq5m/. Se sei interessato alle statistiche, ho pubblicato tutti i dettagli dell'analisi.

Riferimenti

[1] Salganik, M. J., & Watts, D. J. (2008). Guidare il gregge: uno studio sperimentale sulle profezie che si autoavverano in un mercato culturale artificiale. Psicologia sociale trimestrale, 71 (4), 338–355.

[2] Stephan Lewandowsky, Ullrich K. H. Ecker, Colleen M. Seifert, Norbert Schwarz e John Cook. La disinformazione e la sua correzione hanno continuato a influenzare e a indebolire con successo. Psychological Science in the Public Interest, 13 (3): 106–131, dicembre 2012.

[3] Thomas Wood ed Ethan Porter. The Elusive Backfire Effect: aderenza fattuale costante di Mass Attitudes. Documento SSRN Scholarly ID 2819073, Social Science Research Network, Rochester, NY, agosto 2016.

[4] Rahwan, Iyad (2016) Society-in-the-Loop: Programmazione del contratto sociale algoritmico. medio

[5] Christian Sandvig, Kevin Hamilton, Karrie Karahalios e Cedric Langbort. 2014. Algoritmi di audit: metodi di ricerca per rilevare discriminazioni su piattaforme Internet. Dati e discriminazione: conversione delle preoccupazioni critiche in indagine produttiva, riunione annuale dell'Associazione internazionale di comunicazione, 2014

[6] Diakopoulos, N., & Koliska, M. (2016). Trasparenza algoritmica nei media. Giornalismo digitale, 1–20.

[7] Thaler, R. H., e Sunstein, C. R. (2003). Paternalismo libertario. The American Economic Review, 93 (2), 175–179.