La Sfiga nella Scienza: il “problema del cassetto”

Set 23, 2014 by

La Sfiga nella Scienza: il “problema del cassetto”

Siccome oggi mi sento posseduto da Fedro, inizierò con una favoletta.

Mi sveglio una mattina, mi alzo, mi vesto, mi colaziono e vado a comprare il giornale. E mi trovo, sbattuto in prima pagina:

MAGA SOGNA I NUMERI DEL LOTTO: VINCE 5 MILIONI 

La mia mente razional-analitica, formata con anni di esercizio, enuncia l’unico giudizio matematico che riesce a formulare: “Minchia che culo!”.

Ma non finisce qui: mi metto a leggere l’intervista sciorinata dalla giornalista di turno, riassumibile con:

Giornalista: Gli scienziati affermano che la probabilità di vincere al lotto è una su diversi milioni, e la probabilità di vincere sognandoli è anche minore. Cosa ne pensa?
Maga: Ohohoh, che parlino pure, gli scienziati rosiconi! Hanno già tanti problemi a dimostrare che la loro “““scienza””” funziona, ohohoh!

La differenza tra questa piaciona e il metodo scientifico è che quest’ultimo si basa su quattro colonne: logicità della teoria, verifica empirica, ripetibilità degli esperimenti e falsificabilità della teoria. La maga ha sognato i numeri e ha vinto, bene: ma per dimostrare che non si tratti di una botta di culo, dovrebbe avere altri casi in cui, sognando i numeri del lotto, ha vinto qualcosa – e magari darci una spiegazione convincente.

Supponiamo ora che un magistrato appassionato di scienza firmi un mandato di perquisizione nella casa della maga. Oltre a confermare l’ipotesi iniziale di detenzione illegale di pedopornografia (era una maga molto procace), il magistrato trova, nascosto in un cassetto, un piccolo diario in cui la maga annotava meticolosamente tutti i sogni che faceva. Dopo un’attenta analisi, trova all’incirca 20 sogni in cui compaiono numeri del lotto e, com’era prevedibile, 19 di quei casi le hanno fatto solo buttare soldi.

La morale della “favola” non è che non bisogna credere alla magia, ma che la ricerca scientifica è molto più simile al comportamento della maga di quanto si immagini.

Ed è proprio ciò di cui discuterò nei prossimi paragrafi, se non scapperete prima.

BeakerHands

(Mee down, and listen.)

Com’è noto, un fenomeno qualsiasi non può considerarsi dimostrato con un solo esperimento, così come la maga non può dire che sia stato il sogno a farla vincere al Lotto. Ciò non è molto chiaro al giornalismo divulgativo – specialmente italiano – che spiattella in prima pagina qualsiasi “dimostrazione scientifica”, soprattutto se acchiappa-clic, fino al paradosso di pubblicare ricerche contrastanti e spacciarle entrambe per verità. Un esempio classico è quello del Punto G che prima esiste, poi non esiste, e poi esiste di nuovo (a seconda dell’umore del caporedattore), fino a far confondere le donne più che aiutarle nell’orgasmo. La cosa curiosa di questi articoli è che, novantanove volte su cento, pubblicano una sola ricerca a sostegno del pezzo, mandando a puttane tutta l’accuratezza della divulgazione scientifica.

Quando, al contrario, abbiamo una vasta gamma di ricerche sullo stesso argomento, spesso si applica la procedura della meta-analisi, un calcolo statistico approfondito che considera ogni ricerca come se fosse una singola osservazione in un esperimento molto più esteso. Il grande vantaggio della meta-analisi sta nel cementare una scoperta, renderla statisticamente più solida (anche qualora venisse ridimensionata nella sua portata predittiva), ed evidenziare i punti di forza di questa o quella procedura di ricerca.

Torniamo per un secondo alla nostra maga che, siccome mi spiace lasciarla anonima, la ribattezzo Wanna Marchi: supponiamo che Wanna, scarcerata dopo ventordici anni e dopo aver rinnegato il passato, diventi una scienziata di enorme fama e indiscutibile successo (ahahahahahahahahahah). Decide così di interessarsi di parapsicologia, in particolar modo della procedura ganzfeld.

La procedura ganzfeld è il più noto esperimento sulla telepatia mai condotto: si posizionano due persone in due stanze totalmente insonorizzate e prive di strumenti di comunicazione. Il primo, il ricevente, si trova bendato con occhiali speciali, la sua stanza è monocromatica e indossa cuffie che riproducono un brusio costante – queste precauzioni servono a creare un ambiente visivo e uditivo omogeneo che impedisce qualsiasi recezione sensoriale, oltre ad evitare qualsiasi distrazione.

Al secondo, l’inviante, si presenta uno stimolo scelto casualmente (ad esempio un’immagine), detto bersaglio, e gli si chiede di inviarlo telepaticamente al ricevente. Contemporaneamente, al ricevente viene chiesto di parlare a voce alta di tutti i suoi processi mentali, e in seguito gli si presentano quattro immagini, tra cui una di queste è lo stimolo “bersaglio”, e gli si chiede di indicare qual è lo stimolo che ha ricevuto. Si ripete questa procedura diverse volte.

Wanna ci spiega che, se il risultato fosse soltanto un caso, il ricevente dovrebbe indovinare lo stimolo bersaglio una volta su quattro, cioè il 25% delle volte, o una percentuale intorno a questa. Tuttavia, l’analisi di 28 studi ganzfeld ha rivelato una precisione del 38%, troppo alta per essere un caso.

(Oh my Quark!)

Ovviamente, prima di gridare al miracolo, son state effettuate altre meta-analisi e numerose repliche per confermarne la validità statistica. Pur avendo trovato diverse imprecisioni sperimentali e con eterne discussioni sul significato scientifico e metodologico di questi esperimenti, l’importanza della scoperta resta sostanzialmente valida – se non altro per il dibattito che ne è emerso.

Tutto molto bello, tutto molto interessante. Ma perché ci racconti questo, Fra?

Se Wanna fosse stata un po’ meno smemorata, avrebbe capito che nella sua scoperta c’è una zona d’ombra. Così come lei teneva un diario di tutti i suoi sogni, così nella ricerca scientifica esiste un immaginario “cassetto” in cui vi sono tutte le ricerche scientifiche che non hanno dato i risultati sperati, e vengono così relegate nell’oblio.

E che ce ne frega? Se una ricerca ha un risultato negativo, non ce ne facciamo niente.

Falso. Se una ricerca è andata male, specie se condotta rigorosamente, è un ottimo dato da includere nella meta-analisi. Se non avessimo saputo che 19 sogni non avevano predetto niente, come avremmo fatto a sapere che quell’unico sogno premonitore era frutto del caso? Stessa cosa nella ricerca scientifica: anche se una meta-analisi di 28 ricerche conferma la teoria, se ci sono 400 ricerche dal risultato nullo o incerto la validità della scoperta viene fortemente ridimensionata. Solo che queste ipotetiche 400 mine vaganti rimangono recluse nella memoria dei singoli scienziati, che spesso hanno poco interesse a farle emergere.

Possiamo chiamarlo “il problema del cassetto”,che inizia ad avere una presa sempre maggiore nel quadro concettuale della ricerca, la quale si rende conto dei punti ciechi del metodo scientifico dove la mera pubblicazione dei risultati positivi non diventa più indice di qualità e di bravura del ricercatore. Quest’ultimo infatti può avere molti scheletri nell’armadio, che diventano un problema se non pubblicati.

Il problema del cassetto è particolarmente vero per le scienze umane (psicologia, sociologia…) che mediamente vivono di correlazioni deboli, ma non va trascurato dalle scienze dure (biologia, fisica…) le quali, pur vantando una maggiore solidità nella ricerca, non sfuggono alle stesse debolezze di fondo. Nel campo medico, ad esempio, Ben Goldacre ha descritto sia le frodi in senso stretto – truccare i dati, scegliere il metodo statistico in base alla convenienza – sia gli occultamenti delle ricerche sconvenienti: Bad Science ed All Trials ne hanno fatto una ragione di vita, e Salvo Di Grazia ne ha fatto cenno in merito alle minacce ricevute in seguito alle controanalisi sui farmaci.

(Prendete appunti, Vannoni e Di Bella)

A dire il vero, se l’onestà intellettuale degli scienziati tenesse il passo con le pubblicazioni e si avesse il coraggio di dichiarare sempre di aver fallito, andrebbe tutto bene. Pubblichiamo sia risultati positivi che negativi, facciamo i nostri conti e siamo tutti felici.

La fregatura sta nell’effetto San Matteo, descritto da Robert Merton, teorico e fondatore della “sociologia della scienza”, ramo della sociologia che si occupa di studiare la scienza quale “istituzione sociale” similmente a come si fa per il sistema economico o politico. Il fenomeno evidenziato prende spunto dal versetto 25,29 dell’evangelista:

“Perché a chiunque ha sarà dato, e sarà nell’abbondanza; ma a chi non ha, sarà tolto anche quello che ha.”

Fai una buona ricerca con un buon risultato. Bene, avrai credibilità e fondi.

Fai una ricerca fallimentare e risultato nullo. Niente cash, meno fiducia.

Al contempo, se fai una ricerca e sei già uno scienziato famoso (magari insignito del Nobel), la tua fama accrescerà esponenzialmente e altri scienziati citeranno il tuo lavoro per dare maggior peso alle loro tesi – mentre, se fai una schifezza, ricevi un patpat e un “non fa niente”.

Se sei un novizio e fai una ricerca fallimentare, lo stigma dell’incapacità si abbatterà su di te. Se fai una scoperta o due, ti si caga giusto in un paio. Se fai maxiscoperte, entrerai presto nell’élite.

Discotecara: E come ti è andata quest’anno?

Tu: Beh, 14 progetti di ricerca su 15 sono stati un flop, ma il quindicesimo ha evidenziato r = 0,3

Discotecara: E perché mai dovrei dartela?

Ovviamente la dicotomia non è così estrema. Sarebbe assurdo considerare ogni risultato nullo come un fallimento. Inoltre, l’evidenziare inquietanti ipotesi sulla carenza di meritocrazia non è del tutto corretto: la capacità e il merito sono fortemente incentivati dalla comunità scientifica.

Tuttavia, è altrettanto vero che l’iniquità nel “sistema scienza” si fondi su questo criterio, che sottende la convinzione (culturale, più che scientifica) che il risultato nullo, debole o poco predittivo debba finire nel magico cassetto dell’oblio, invece di essere considerato come elemento per un’eventuale meta-analisi o, nella migliore delle ipotesi, come un memento per non fare altre cazzate.

D’altronde ciò non dipende solo dall’equità, di nome o di fatto che sia, ma dagli stessi paradigmi sottesi alla ricerca scientifica e dagli obiettivi che essa si pone. Thomas Kuhn, epistemologo e teorico delle “Fasi della Scienza”, ha evidenziato come sia nello “stadio zero” dello sviluppo di una scienza, detto pre-paradigmatico (dove ancora bisogna trovare criteri condivisi su cosa si va a studiare) che nell’ultimo, quello della “rivoluzione” (dove il paradigma cambia) abbiano peso non solo variabili razionali, ma anche sociali: fama dei ricercatori che impostano il paradigma, la loro anzianità, l’importanza nella comunità.

Questo per dire come, nello stesso concetto di scienza, subentri la società al pari (se non talvolta al di sopra) delle convinzioni filosofiche sottese alla ricerca. Il che, probabilmente, è una delle cause della poca importanza che le “ricerche nel cassetto” rivestono attualmente, e che lentamente sgomitano per emergere.

Con buona pace di Wanna Marchi.

Commenti

commenti

Leave a Reply

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

shared on wplocker.com