Paradossi statistici: ciò che sembra e ciò che è!

Aperto da Eutidemo, 16 Maggio 2020, 06:29:56 AM

Discussione precedente - Discussione successiva

Eutidemo


Quasi sempre ci fermiamo alla prima impressione, basandoci sul nostro "intuito" (e sui nostri pregiudizi) senza soffermarci ad analizzare meglio un determinato fenomeno; il quale, invece, se lo si esaminasse meglio, si rivelerebbe alquanto differente da come noi supponevamo che fosse.
Qui di seguito riporterò alcuni esempi, sebbene se ne potrebbero fare molti di più.


***
1)
COMPLEANNI
La probabilità "effettiva" che almeno due persone in un gruppo compiano gli anni lo stesso giorno è largamente superiore a quanto ci potrebbe suggerire l'intuito ed il cosiddetto "senso comune": ed infatti già in un gruppo di 23 persone la probabilità è circa 0,51 (51%); chi mai lo direbbe , "a naso"?
Con 30 persone la probabilità supera lo 0,70 (70%), con 50 persone tocca addirittura lo 0,97 (97%), anche se per arrivare all'evento certo occorre considerare un gruppo di almeno 366 persone (367 se si considera l'anno bisestile).
http://bayimg.com/ianGMAAgp


***
2)
SPEREQUAZIONE DI GENERE
A parte tale semplice effetto statistico "controintuitivo", si deve ad Edward H. Simpson, la messa a fuoco del ricorrente  "sviamento" che si manifesta quando la relazione tra due o più fenomeni appare modificata, o perfino invertita, guardando a diversi "gruppi di dati"; ed infatti, prendendo un gruppo di dati piuttosto che un altro, riferiti entrambi allo stesso fenomeno, è possibile che questi conducano a conclusioni non solo fra loro differenti ma addirittura apparentemente incompatibili.
Ad esempio, nel 1973, presso la sede dell'Università della California di Berkeley, venne effettuato uno studio sulla possibile  "discriminazione di genere" nelle ammissioni ai corsi universitari.
A tale scopo, venne considerato un campione di 8442 ragazzi e 4321 ragazze che avevano fatto domanda di ammissione per i master post-laurea; e risultò che circa il 44% dei richiedenti di sesso maschile aveva ottenuto l'ammissione, contro il 35% delle donne richiedenti.
http://bayimg.com/JaNGlaaGp
La differenza tra le percentuali di ammissione di uomini e donne sembrava costituire una forte prova empirica della preferenza, da parte dell'università, per i candidati maschi; però, per avere un ulteriore riscontro, vennero analizzati singolarmente i differenti dipartimenti dell'Università, che si erano occupati delle candidature, in base al campo di specializzazione.
Paradossalmente, analizzando i singoli dipartimenti, apparve che non c'era stata alcuna discriminazione nei confronti delle donne; anzi, in complesso, gli uomini sembravano in posizione di leggero svantaggio.
http://bayimg.com/JangMaAgp
La spiegazione del paradosso  stava nella "variabile" nascosta, in principio non presa in considerazione, che consisteva nella preferenza delle domande per ciascun tipo di  specializzazione; ed infatti le percentuali mostrano che era più facile essere accettati nei dipartimenti A e B, al contrario che in quelli  C, D, E ed F.
Per cui, visto che:
- ai primi due (A,B), aveva fatto domanda
più della metà degli uomini ;
- agli ultimi quattro (C, D, E, F) la domanda era pervenuta dal 90% delle donne totali;
si era manifestato un "effetto di distorsione" a causa della diversa scelta del dipartimento da parte degli uomini e delle donne.
Se non risultasse chiaro, detto in termini più elementari, se, ad una sessione universitaria, 10 uomini scelgono di dare un esame universitario più facile, mentre 10 donne scelgono di dare un esame universitario più difficile, non c'è poi da stupirsi se, su un totale complessivo di 15 promossi, 9 sono uomini e 6 sono donne; un risultato del genere, invero, non sarebbe affatto indicativo di una sperequazione di genere.


***
3)
TASSI DI DISOCCUPAZIONE
Si ipotizzi una situazione nella quale:
- a parità di età, la percentuale di disoccupati tra i diplomati sia la metà rispetto alla popolazione di chi non ha conseguito il diploma.
- per motivi storici, tra le generazioni più anziane i diplomati siano in numero molto minore e che, per motivi legati al mercato del lavoro, tra i giovani il tasso di disoccupazione sia più elevato che tra gli anziani.
Partendo dalle seguenti due statistiche ipotetiche:
http://bayimg.com/IaNGNaAgP
dove abbiamo che in entrambi i casi la disoccupazione è circa doppia tra i non diplomati, rispetto ai diplomati, si può calcolare il numero di disoccupati:
http://bayimg.com/IaNgoAAgP
Questi valori assoluti permettono ora di calcolare il tasso di disoccupazione per i non diplomati e per i diplomati senza tenere conto dell'età.
In tal modo si ottiene:
http://bayimg.com/jAnGaAagp
Così si scopre che, differentemente di quanto ci sembrava "ovvio", tra i diplomati il tasso di disoccupazione invece che essere la metà è maggiore di un quarto che tra i non diplomati; cioè, proprio il contrario di quello che si era ipotizzato di primo "acchito".
Questo paradosso è dovuto al fatto che il tasso di disoccupazione è nettamente maggiore nel gruppo che ha una maggiore percentuale di diplomati; trascurare l'esistenza di due relazioni fondamentali (quella tra disoccupazione e età, nonché quella tra età e titolo di studio) fa giungere a conclusioni errate.


***
4)
TASSI DI CRIMINALITA'
Alla stesso modo, trascurare l'esistenza di due relazioni fondamentali, quella tra i differenti tassi di criminalità (soprattutto contro la persona e la proprietà) tra italiani e stranieri,  e tra i differenti rapporti di età tra italiani e stranieri, fa giungere a conclusioni errate anche riguardo alle cause di tali differenze.
Ed invero risulta che gli stranieri sono responsabili del 30% circa dei reati che si commettono in Italia (soprattutto contro la persona e la proprietà)  a fronte di una presenza di stranieri residenti del solo 8,5%; c'è dunque una indubbia sproporzione fra presenza degli stranieri e reati commessi dagli stessi che indica sicuramente la presenza di un diverso tasso di criminalità fra italiani autoctoni e stranieri.
Però, se leggiamo con attenzione il "Rapporto sulla criminalità del Ministero dell'Interno", nel paragrafo 5 troviamo scritto che: "Gli studiosi che si occupano di criminalità concordano con l'osservazione che tra  "età" e "frequenza con cui vengono commessi reati" esiste una "relazione sistematica", e ne hanno fatto da tempo l'oggetto di osservazioni, ricerche e analisi criminologica. Adolescenti e giovani (a prescindere dalla loro etnia), infatti, commettono proporzionalmente più reati di quanto si registri nella popolazione appartenente ad altre classi di età."
https://www1.interno.gov.it/mininterno/export/sites/default/it/assets/files/14/0900_rapporto_criminalita.pdf
Si vedano, al riguardo, anche le seguenti tabelle:
http://bayimg.com/iAnGlAaGp
Ovviamente, i diciottenni incriminati per falso in bilancio o "insider trading", reati già di per sè numericamente insignificanti, sono praticamente inesistenti.
Ciò premesso, occorre considerare che:
- l'età media della popolazione straniera residente in Italia è di circa 35 anni;
- l'età media della popolazione di italiani autoctoni, è di circa 46 anni.
Per cui, se si mettono in relazione le due statistiche, ne consegue che la maggior percentuale di crimini attribuibili agli stranieri, è in gran parte imputabile al fatto che in tale fascia di popolazione la percentuale di giovani è molto più elevata rispetto a quella che c'è nella popolazione italiana autoctona.
Se, infatti, l'età media degli Italiani fosse più bassa rispetto a quella degli stranieri, il rapporto sarebbe sicuramente diverso; sebbene, al riguardo, oltre all'età, occorrerebbe fare riferimento anche alle statistiche relative al "tasso di povertà", al "tasso di istruzione" ecc.; tutte analisi, queste, che non possono neanche essere sfiorate in questa sede.


***
MORALE DELLA FAVOLA
La morale della favola è che, prima di esprimere dei giudizi, dovremmo analizzare meglio i singoli fenomeni, e non arrestarci "mai" solo alla prima impressione; soprattutto quando essa compiacentemente corrobora le  convinzioni che già abbiamo.
Ed infatti presumo che:
- tutti abbiano accettato senza particolare resistenza o compiacimento psicologico, il "paradosso dei compleanni", che, di per sè, è ideologicamente neutro e "anodino";
- qualcuno, invece, abbia psicologicamente reagito agli altri esempi, in materia di "sperequazione di genere", di "tassi di di disoccupazione", e di "tassi  criminalità", perchè si tratta di temi ideologicamente "sensibili".


Al riguardo, però, bisogna evitare di pensare che la realtà di uno "specifico" fenomeno debba necessariamente suffragare o inficiare le nostre convinzioni "generali"; semprechè, beninteso, esse siano fondate anche su altri ben più fondati elementi.
Ad esempio:
a)
Per quanto riguarda 2) (SPEREQUAZIONE DI GENERE), il caso molto particolare da me riportato, significa solo che in quel caso "specifico" non ci fu alcuna sperequazione tra donne e uomini; il che, però, ovviamente, non toglie che, almeno a mio parere, in molti altri ambiti, soprattutto lavorativi, sussista una indubbia sperequazione tra donne e uomini, come altre inequivoche statistiche dimostrano.
b)
Per quanto riguarda 3) (TASSI DI DISOCCUPAZIONE), l'esempio da me riportato non considera altri aspetti più generali; come, ad esempio, che chi possiede un titolo di studio, poichè, giustamente, ambisce ad un lavoro più gratificante e remunerativo, trova una più ristretta gamma di offerte a tale livello.
c)
Per quanto, infine, riguarda 4) (TASSI DI CRIMINALITA'), il mio esempio, a ben vedere, non dovrebbe neanche definirsi veramente "paradossale", in quanto non intende minimamente contestare l'indubbia circostanza che il tasso di criminalità  degli stranieri (soprattutto contro la persona e la proprietà) sia più elevato di quello degli italiani autoctoni, ma vuole solo evidenziare una delle ragioni di tale fenomeno, di cui, secondo me "paradossalmente", non si tiene mai conto; la quale, in quanto l"età" è una condizione che riguarda indifferentemente italiani e stranieri, appare "neutra" rispetto alla condizione di "immigrato" ed all'etnia di provenienza.
Come pure ho scritto, peraltro, oltre che all'"età" del campione statistico, occorrerebbe fare riferimento anche alle statistiche relative al "tasso di povertà", al "tasso di istruzione" ecc.; tutte analisi, queste, di cui si dovrebbe sempre tenere conto in una valutazione "ceteris paribus" della propensione a delinquere o meno di determinate fasce della popolazione a prescindere dalla loro "etnia", ma che non possono neanche essere sfiorate in questa sede.
Senza considerare che, a parte l'"effetto anomia" che influisce su qualsiasi tipo di immigrato, da qualsiasi parte del mondo esso provenga, non si può tuttavia negare che non tutte le provenienze siano "omologabili",  in quanto determinati stranieri immigrati in Italia, potrebbero teoricamente avere una maggiore o minore propensione alla criminalità rispetto ad altri immigrati, e/o agli italiani autoctoni, a seconda del cosiddetto ICN (Indice Criminalità Nazionale); che è una stima del livello generale di criminalità in una determinata città o nazione, come si evince dal seguente LINK:
https://it.numbeo.com/criminalit%C3%A0/graduatoria-per-nazione
N.B. Lungi da me, comunque, riaprire in questa sede il tema dell'immigrazione e dei relativi problemi, per cui vi invito a non riaprirlo qui, perchè lo considerò OFF TOPIC.

***
Un saluto a tutti! :)


Jacopus

Sui tassi di criminalità e la loro non-oggettività va anche tenuto conto del diverso livello di ricorso alla giustizia ufficiale.  Se io non denuncio un reato, quel reato non finirà mai nelle statistiche.
Un paese altamente criminogeno, dove però nessuno denuncia, come ad esempio qualche regione controllata da un cartello della droga, risulterà per le statistiche come un tranquillo paese della val Brembana.
Homo sum, Humani nihil a me alienum puto.

Eutidemo

Citazione di: Jacopus il 16 Maggio 2020, 08:41:13 AM
Sui tassi di criminalità e la loro non-oggettività va anche tenuto conto del diverso livello di ricorso alla giustizia ufficiale.  Se io non denuncio un reato, quel reato non finirà mai nelle statistiche.
Un paese altamente criminogeno, dove però nessuno denuncia, come ad esempio qualche regione controllata da un cartello della droga, risulterà per le statistiche come un tranquillo paese della val Brembana.


Esatto. ;)
Su questo REPORT ISTAT, è possibile vedere, a pagina 7 un interessante PROSPETTO delle VITTIME DI REATI INDIVIDUALI PER MOTIVI DELLA NON DENUNCIA E TIPO DI REATO.
https://www.istat.it/it/files/2019/02/Reati-contro-la-persona-e-contro-la-proprieta.pdf

bobmax

Sono anch'io convinto dell'utilità della statistica. Se usata correttamente permette la messa in discussione di tanti pregiudizi che ci condizionano.

Non penso però che il pregiudizio in sé sia un male. Perché valutare correttamente, implica solitamente un impegno e un approfondimento difficili da realizzare in ogni diversa situazione.
Non ne abbiamo né i mezzi, né l'energia e neppure il tempo necessari.

D'altronde la nostra stessa sopravvivenza dipende in fondo da convinzioni non verificate. Intuizioni che non abbiamo mai davvero problematicizzato. Perciò spesso non corrispondenti alla realtà, anche perché epidermiche, confuse.

Tuttavia, questo sentire approssimativo, sovente anche erroneo, ha permesso all'animale uomo di evolvere.
Ben venga quindi la statistica, per rivedere questi nostri istinti grossolani e magari pure obsoleti, perché utili un tempo, quando le condizioni umane erano diverse, ma che ora si rivelano d'intralcio.

Vorrei far notare, che vi è pure un altro aspetto per il quale la statistica può essere d'aiuto.
Mi riferisco alle coincidenze.

Ossia alla propensione ad attribuire la coincidenza di eventi, altrimenti inspiegabile, ad una qualche forza soprannaturale o al caso.
Ciò che pareva davvero impossibile avverarsi, ce la troviamo davanti agli occhi!
E' allora facile attribuire questa altamente improbabile coincidenza a un che di trascendente il nostro mondo, a un qualcosa che se ne sta fuori. Appunto al soprannaturale o al caso.

La statistica può venirci in aiuto, per dipanare quell'assurdo che noi, intuitivamente, avevamo dato per certo.
Ridimensionando l'improbabilità della coincidenza, la statistica può, se non risolvere del tutto la nostra perplessità, almeno ricondurci nel mondo "naturale". Dove tutto quello che avviene non era poi così improbabile che avvenisse...

Questo altro ambito in cui può essere utilizzata la statistica, lo definirei "metafisico".
Nel senso che permette di migliorare la nostra distinzione tra "fisico" e "metafisico".
Allargando giustamente il primo a scapito del secondo.

Destino del metafisico, infatti, è scomparire.

Non vi è nulla che stia oltre il fisico.
Non vi è nulla di trascendente.

E questa, seppur paradossalmente, è "prova" di Dio: il suo stesso non esserci.
Tardi ti ho amata, bellezza tanto antica e tanto nuova, tardi ti ho amata. Tu eri con me, mentre io ero lontano da te.

Eutidemo


Ciao Bob :)
La statistica è solo uno degli strumenti razionali che possono aiutarci a mettere in discussione di tanti pregiudizi che ci condizionano; spesso ci è sufficiente anche il semplice "buon senso" (da non confondere mai con il "senso comune").

***
Quanto all'utilità del "pregiudizio", almeno nel senso in cui ne parli, sono d'accordo anche io; ed infatti, di norma, noi guidiamo in modo "automatico", senza stare a riflettere tanto sulla strada da fare ogni giorno per tornare a casa.
Sarebbe un inutile stress mentale!
Però può anche capitare di accorgersi, verificando meglio dopo anni di guida automatica, che, in realtà, c'era una strada migliore; per cui, se avessimo impiegato un po' di tempo a rifletterci prima, forse avremmo perso meno tempo a percorrere per anni, ogni giorno, la strada meno conveniente.
A me è capitato!

***
Quanto alle "coincidenze", e, cioè, alla propensione ad attribuire la coincidenza di eventi, altrimenti inspiegabile, ad una qualche forza soprannaturale o al caso, secondo me è un discorso molto interessante, che meriterebbe un TOPIC a parte; cosa che forse farò

***
Grazie per il suggerimento! :)

iano

#5
Non sempre scegliamo la strada migliore , anche quando ne abbiamo evidenza , privilegiando un percorso per l'andata e uno diverso per il ritorno.
Quasi una legge di irreversibilità psicologica , o un procedimento giornaliero di dimostrazione del libero arbitrio,  a meno che non succeda solo a me.
Succederà  la stessa cosa nei percorsi mentali della riflessione filosofica ?

Succederà di essere in accordo o disaccordo sullo stesso ragionamento se diversamente esposto?
Eienstein: ''Dio non gioca a dadi''
Bohr: '' Non sei tu Albert, a dover dire a Dio cosa deve fare''
Iano: ''Perchè mai Dio dovrebbe essere interessato ai nostri giochi?''

bobmax

@Iano

O si tratta invece di un procedimento giornaliero per mantenere l'illusione del libero arbitrio?

Se potessimo tornare al momento di quella scelta, nella stessa identica situazione, sia fisica sia psicologica, identica insomma!, davvero potremmo scegliere diversamente?

Da cosa sarebbe infatti determinata questa ipotetica scelta diversa?
Perché una scelta differente implica che qualcosa di diverso che la causi vi debba pur essere!

Almeno che si imputi questa causa a un che di trascendente... Ecco la superstizione!

Ma il molteplice, non è tale proprio perché privato di una propria libertà?
Non è infatti la libertà un'esclusiva dell'Uno?

La scissione genera il divenire, dove nessun asino di Buridano è possibile.
La macina è in moto.
Tardi ti ho amata, bellezza tanto antica e tanto nuova, tardi ti ho amata. Tu eri con me, mentre io ero lontano da te.

Jacopus

Bobomax. Se tutto è già deciso perché ostinarsi a pagare giudici, polizia, eserciti, medici, insegnanti. Il bene e il male semplicemente non esisterebbero. Io potrei scannarti nella pubblica via e nessuno avrebbe nulla da ridire.
È un discorso che abbiamo già affrontato molte volte, ma bisogna pur rintuzzare. D'altro canto potrei sempre giustificare questo intervento come predeterminato. Non posso farci niente.
Homo sum, Humani nihil a me alienum puto.

bobmax

Jacopus, insisti con il mettere il carro davanti ai buoi...

La sintesi può avvenire solo dopo aver completato l'analisi. Se la si anticipa, è solo un pregiudizio.

E se l'analisi conduce di fronte al limite... occorre resistere alla tentazione di chiudere gli occhi!

E anche la predeterminazione, che c'entra?
Altro pregiudizio.
Su che base tutto dovrebbe essere predeterminato?

La macina può benissimo avviarsi in ogni istante!
Che ne sappiamo?

Quando sogni, è predeterminato ciò che avviene nel sogno?
Se nel sogno qualcuno ti parla, chi è che lo fa parlare?
Dovresti essere ancora tu...
Ma sai già, prima che lui parli, cosa poi gli farai dire?

Guarda, che non solo la determinabilitá o meno è un pregiudizio, pure la causa-effetto alla fin fine deve essere messa in discussione!

Ma qui siamo ancora troppo acerbi.
Tardi ti ho amata, bellezza tanto antica e tanto nuova, tardi ti ho amata. Tu eri con me, mentre io ero lontano da te.

Jacopus

Bobomax. Lasciamo perdere. Con te talvolta sembra di essere di fronte ad una sfinge. Solo due post fa dicevi che non esiste libero arbitrio. Ora non esiste neppure il determinismo. Inoltre siamo troppo acerbi. Bel modo per dire "sei uno stupido". Adieu.
Homo sum, Humani nihil a me alienum puto.

iano

#10
Citazione di: bobmax il 17 Maggio 2020, 09:23:03 AM
@Iano

O si tratta invece di un procedimento giornaliero per mantenere l'illusione del libero arbitrio?

Se potessimo tornare al momento di quella scelta, nella stessa identica situazione, sia fisica sia psicologica, identica insomma!, davvero potremmo scegliere diversamente?

Da cosa sarebbe infatti determinata questa ipotetica scelta diversa?
Perché una scelta differente implica che qualcosa di diverso che la causi vi debba pur essere!

Almeno che si imputi questa causa a un che di trascendente... Ecco la superstizione!

Ma il molteplice, non è tale proprio perché privato di una propria libertà?
Non è infatti la libertà un'esclusiva dell'Uno?

La scissione genera il divenire, dove nessun asino di Buridano è possibile.
La macina è in moto.
Lo dico candidamente .
Credo c'entri l a superstizione , appunto.
Se nulla di grave è successo perché cambiare strada?
Potrebbe portare sfortuna. 😊
In fondo i pregiudizi funzionano proprio così , nella loro pur utile funzione.
Non li si cambia anche quando ci appaiono in teoria evidentemente errati , finché non si dimostrano essere dannosi , cioè insostenibili nei fatti.
Chiamiamola superstizione.
Insomma la mia impressione è la seguente.
I meccanismi automatici di scelta sono utili perché economici.
Ci risparmiano la fatica di pensare e permettono una risposta rapida.
Se qualcuno ci dimostra che sbagliamo ciò non basta a farci decidere di fare la fatica di fare una scelta corretta.
Occorre che nei fatti si evidenzino svantaggi consistenti e magari in modo reiterato.
I pregiudizi sembrano avere una loro inerzia .
Se di solito percorri la strada A , anche se decidi un giorno in piena libertà di fare la strada B , ti ritrovi poi contro la tua volontà sulla strada A.
Anche nelle grandi scoperte scientifiche il genio di turno non fa' altro che mettere insieme i pezzi di un puzzle , cioè quello che tutti sapevano già da un pezzo.
Ma poi occorre che nei fatti essa dimostri la sua utilità e in modo reiterato.
La superstizione potrebbe essere un principio di estrema prudenza.
Alla fine la nostra irrazionalità fa' sempre Il suo sporco lavoro  ,anche quando esprimiamo con libero arbitrio la volontà di metterla da parte.
I terrapiattist magari avranno solo un senso della superstizione patologicamente sviluppato.


Eienstein: ''Dio non gioca a dadi''
Bohr: '' Non sei tu Albert, a dover dire a Dio cosa deve fare''
Iano: ''Perchè mai Dio dovrebbe essere interessato ai nostri giochi?''

Discussioni simili (2)