johanljung is 85% HeteroHur hetero är du? Hur hetero är Alex Schulman? Testa vilket Twitterkonto som helst och se hur det ligger till. Är vi verkligen orden vi använder? Vi ses på Pridefestivalen!
Visar inlägg med etikett statistik. Visa alla inlägg
Visar inlägg med etikett statistik. Visa alla inlägg
2009-07-19
Nära normen
"Äh förresten, nåra procent till höger eller vänster, det har alla." Säger Magnus Ugglas rollfigur i G (via Soffpotatisen). Nu har jag fått mina procent kvantifierade av Stockholm Prides Twitter-analys. Jag hamnar mitt emellan Mona Sahlin och Mikael Persbrandt, tydligen.
johanljung is 85% HeteroHur hetero är du? Hur hetero är Alex Schulman? Testa vilket Twitterkonto som helst och se hur det ligger till. Är vi verkligen orden vi använder? Vi ses på Pridefestivalen!
johanljung is 85% HeteroHur hetero är du? Hur hetero är Alex Schulman? Testa vilket Twitterkonto som helst och se hur det ligger till. Är vi verkligen orden vi använder? Vi ses på Pridefestivalen!
2009-05-10
Om klamydia och den misshandlade matematiken
Jag har förmodligen svininfluensa. Jag har ont i halsen, muskelvärk, nyser och hostar. Eller så är jag förkyld. Hur som helst tänker jag inte testa mig. På senare tid har det skrivits en hel del om känsliga tester som appliceras på breda populationer. Om drogtester på företag, om KUB-tester och fostervattenprov. Ibland tar man upp risker med sådana prov, men ofta bortser man från det stora problemet med falsklarm - som kan ha allvarliga konsekvenser för den enskilde (jag såg häromveckan Miraklet med Henry Poole, där Luke Wilson spelar en man som just fått beskedet att han har en aggresiv och obotlig form av cancer). Och alltför ofta slarvar man med den i grunden väldigt enkla och intuitiva matematik som man kan använda för att räkna ut oddsen för falsklarm.
I princip alla medicinska tester har en noggrannhet, eller tillförlitlighet, som understiger 100%. I Fooled by Randomness (föregångaren till den mer omskrivna The Black Swan) återberättar Nassim Nicholas Talib historien om en provfråga som gavs till läkare:
De flesta läkare svarade - felaktigt - att sannolikheten är 95%. I själva verket är den mindre än 2%.
På dagens DN Debatt tar professor Per-Anders Mårdh upp problemet med klamydia-tester, som blivit mer känsliga, används bredare och ger upphov till en ökning av antalet diagnoser, jämfört med tidigare. Men (med reservation för att det kan ha varit en klåfingrig debattredaktör i farten) det irriterar mig att Mårdh inte kan beskriva grundläggande sannolikhetsteori på ett begripligt sätt. I artikeln slänger han ur sig termer som inte definieras och utelämnar viktiga förutsättningar. Effekten blir att matematiken framstår som svår och obegriplig för alla utom experter. Det är den inte.
Mårdh använder den statistiska termen positivt prediktivt värde (ppv) och nämner flyktigt Bayes sats. Men hade han kostat på sig ett par rader för att definiera dem, hade det efterföljande exemplet blivit mycket enklare att ta till sig.
PPV är andelen av de patienter som testats positivt, som verkligen har den sjukdom de testats för. I sannolikhetsläran motsvaras det av sannolikheten för att en patient är sjuk, givet att hon fått ett testsvar som säger att hon är det. Denna typ av "under förutsättning att"-sannolikhet kallas betingad sannolikhet, och Bayes sats är en enkel formel för att beräkna den.
Om A och B är två händelser (t.ex. "A = patienten har sjukdomen", "B = patienten testar positivt för sjukdomen"), säger Bayes sats att den betingade sannolikheten för A givet B, är den omvända betingade sannolikheten för B givet A, gånger den totala sannolikheten för A, delat med den totala sannolikheten för B. Eller med matematisk notation:
P(A|B) = P(B|A)*P(A)/P(B)
Om vi återgår till Talebs provfråga till läkarna, så är P(B|A) sannolikheten för att testsvaret är positivt givet att patienten är sjuk, dvs testets noggrannhet 95%. P(A) är sannolikheten för en godtycklig person att vara sjuk, dvs 1/1000, eller 0,1%. P(B) är lite, men bara lite, svårare att räkna ut. Det är sannolikheten att en person - frisk eller sjuk - får ett positivt svar.
Låt oss för enkelhets skull anta att testet görs på 100.000 personer. Av dessa är en på tusen, dvs 100, sjuka och testet identifierar 95 av dessa. Av de 99.900 friska ger testet ett falskt positivt resultat på 5%, dvs 4.995. Totalt får vi alltså 95+4.995 = 5.090 positiva svar. P(B) är 5.090/100.000 = 5,09%.
Enligt Bayes sats är P(A|B) = 95% * 0,1% / 5,09% = 1,9%
Och på samma sätt kan man räkna ut ppv som 95 (antalet sanna positiva) / 5.090 (totala antalet positiva) = 1,9%
PPV och den betingade sannolikheten för sjukdom givet positivt testsvar, beror alltså i lika hög grad på sjukdomens förekomst som på testets tillförlitlighet. För ovanliga sjukdomar är risken alltså stor för att ett brett genomfört test ger falsklarm, även om testet i sig är tillförlitligt - ett fenomen som brukar kallas the false positive paradox.
Mårdh illustrerar detta genom att jämföra ppv i en testgrupp där 10% verkligen är smittade, med en där endast 1% är det. I det senare fallet blir ppv 49%, dvs knappt hälften av dem som får ett positivt testresultat är verkligen smittade. Vilket DN valt ut till artikelns rubrik.
Men hur kan han veta att ppv blir just 49% då (och 91% om var tionde testad verkligen är smittad)? Återigen slarvar Mårdh så att matematiken verkar mer mystisk än den är. Han utelämnar antagandet (eller kunskapen) att testet är 99% tillförlitligt. Vet man det är det enkelt att sätta in siffrorna i Bayes sats:
ppv = P(A|B) = P(B|A)*P(A)/P(B) = 99% * 1% / 2% = 49%.
Eller ännu enklare uttryckt: Om testet görs på 100 personer varav en är smittad, så ger det positivt utslag på två personer - den smittade och en av de c:a 100 osmittade. Hälften korrekt och hälften falsklarm, alltså.
Det är väl inte så svår matematik?
I princip alla medicinska tester har en noggrannhet, eller tillförlitlighet, som understiger 100%. I Fooled by Randomness (föregångaren till den mer omskrivna The Black Swan) återberättar Nassim Nicholas Talib historien om en provfråga som gavs till läkare:
Antag att ett test är 95% tillförlitligt såtillvida att det ger 5% falskt positiva svar, och att åkomman som man testar drabbar 1/1000 av befolkningen. Testet ges slumpmässigt, utan någon tidigare misstanke om att den testade är drabbad. En patient får ett positivt testsvar. Vad är då sannolikheten att hon har den testade åkomman?
De flesta läkare svarade - felaktigt - att sannolikheten är 95%. I själva verket är den mindre än 2%.
På dagens DN Debatt tar professor Per-Anders Mårdh upp problemet med klamydia-tester, som blivit mer känsliga, används bredare och ger upphov till en ökning av antalet diagnoser, jämfört med tidigare. Men (med reservation för att det kan ha varit en klåfingrig debattredaktör i farten) det irriterar mig att Mårdh inte kan beskriva grundläggande sannolikhetsteori på ett begripligt sätt. I artikeln slänger han ur sig termer som inte definieras och utelämnar viktiga förutsättningar. Effekten blir att matematiken framstår som svår och obegriplig för alla utom experter. Det är den inte.
Mårdh använder den statistiska termen positivt prediktivt värde (ppv) och nämner flyktigt Bayes sats. Men hade han kostat på sig ett par rader för att definiera dem, hade det efterföljande exemplet blivit mycket enklare att ta till sig.
PPV är andelen av de patienter som testats positivt, som verkligen har den sjukdom de testats för. I sannolikhetsläran motsvaras det av sannolikheten för att en patient är sjuk, givet att hon fått ett testsvar som säger att hon är det. Denna typ av "under förutsättning att"-sannolikhet kallas betingad sannolikhet, och Bayes sats är en enkel formel för att beräkna den.
Om A och B är två händelser (t.ex. "A = patienten har sjukdomen", "B = patienten testar positivt för sjukdomen"), säger Bayes sats att den betingade sannolikheten för A givet B, är den omvända betingade sannolikheten för B givet A, gånger den totala sannolikheten för A, delat med den totala sannolikheten för B. Eller med matematisk notation:
P(A|B) = P(B|A)*P(A)/P(B)
Om vi återgår till Talebs provfråga till läkarna, så är P(B|A) sannolikheten för att testsvaret är positivt givet att patienten är sjuk, dvs testets noggrannhet 95%. P(A) är sannolikheten för en godtycklig person att vara sjuk, dvs 1/1000, eller 0,1%. P(B) är lite, men bara lite, svårare att räkna ut. Det är sannolikheten att en person - frisk eller sjuk - får ett positivt svar.
Låt oss för enkelhets skull anta att testet görs på 100.000 personer. Av dessa är en på tusen, dvs 100, sjuka och testet identifierar 95 av dessa. Av de 99.900 friska ger testet ett falskt positivt resultat på 5%, dvs 4.995. Totalt får vi alltså 95+4.995 = 5.090 positiva svar. P(B) är 5.090/100.000 = 5,09%.
Enligt Bayes sats är P(A|B) = 95% * 0,1% / 5,09% = 1,9%
Och på samma sätt kan man räkna ut ppv som 95 (antalet sanna positiva) / 5.090 (totala antalet positiva) = 1,9%
PPV och den betingade sannolikheten för sjukdom givet positivt testsvar, beror alltså i lika hög grad på sjukdomens förekomst som på testets tillförlitlighet. För ovanliga sjukdomar är risken alltså stor för att ett brett genomfört test ger falsklarm, även om testet i sig är tillförlitligt - ett fenomen som brukar kallas the false positive paradox.
Mårdh illustrerar detta genom att jämföra ppv i en testgrupp där 10% verkligen är smittade, med en där endast 1% är det. I det senare fallet blir ppv 49%, dvs knappt hälften av dem som får ett positivt testresultat är verkligen smittade. Vilket DN valt ut till artikelns rubrik.
Men hur kan han veta att ppv blir just 49% då (och 91% om var tionde testad verkligen är smittad)? Återigen slarvar Mårdh så att matematiken verkar mer mystisk än den är. Han utelämnar antagandet (eller kunskapen) att testet är 99% tillförlitligt. Vet man det är det enkelt att sätta in siffrorna i Bayes sats:
ppv = P(A|B) = P(B|A)*P(A)/P(B) = 99% * 1% / 2% = 49%.
Eller ännu enklare uttryckt: Om testet görs på 100 personer varav en är smittad, så ger det positivt utslag på två personer - den smittade och en av de c:a 100 osmittade. Hälften korrekt och hälften falsklarm, alltså.
Det är väl inte så svår matematik?
2008-05-17
Lögn och förbannad statistik
Häromdagen lanserade DN sitt samarbete med Factlab, med Eniro som huvudsponsor. Factlab är ett dataminingverktyg fulladdat med statistik från SCB, CIA och en mängd andra källor.
Igår länkade Johan Lindqvist till det här YouTube-klippet, där den amerikanske högeragitatorn Bill O'Reilly pratar om en "svensk sociologisk studie" som visar att äktenskapet som institution havererat i Sverige, sedan homoäktenskap legaliserades här. Till den grad att numera är 65% av svenskarna ogifta.
Först skrattade jag högt åt O'Reillys ogenerade fabulerande - vi har ju t.ex. inte samkönade äktenskap i Sverige, och då faller liksom hela resonemanget. Men sen när jag grävde lite blev jag mer irriterad. Över att storyn - som trots allt är nästan tre år gammal - mest verkar ha kommenterats av svenskar, men passerat relativt obemärkt i amerikansk media. Och över att O'Reilly faktiskt inte tagit sina uppgifter fritt ur luften - han är mer förslagen än så.
Någon "svensk sociologisk studie" finns förstås inte, men däremot en lång artikel i den konservativa amerikanska veckotidningen The Weekly Standard, där det framgår att de syftar på partnerskapslagen från 1994 - "de facto gay marriage". Och när jag använder Factlab för att kolla den svenska äktenskapsfrekvensen, så stämmer det faktiskt att bara 35% av svenska kvinnor redovisas som gifta. Så visst, 65% är "inte gifta".
Men vänta lite. Statistiken, som ursprungligen kommer från SCB, gäller alla svenska kvinnor, inklusive nyfödda. Och förutom kategorierna "gift" och "ogift", finns "frånskild" och "änka". Barnäktenskap är inte så vanliga i Sverige, och knappast eftersträvansvärda, ens för konservativa talkshowvärdar. Så man bör ju åtminstone filtrera bort omyndiga. Men i Sverige, liksom i övriga västvärlden, växer gapet mellan "myndig" och "vuxen", i takt med att vi utbildar oss mer, bor kvar hemma längre, och får barn senare. Statistiken säger ju ingenting om vilka av dagens unga kvinnor som avser att gifta sig när de "blir vuxna".
28 år är den ålder vid vilken jag fick mitt första fasta jobb, och E-L:s ålder när vi gifte oss. Så jag väljer 28 som en godtycklig, men nog hyfsat korrekt, gräns för "vuxen". Och om man då fördjupar sig i SCB:s siffror, så ser man att av vuxna svenska kvinnor, 28-100+ år, är 24% ogifta, 49% gifta, 15% frånskilda och 12% änkor.
Tittar man på förändringen de senaste 40 åren, så har andelen gifta förvisso gått stadigt ned. Men i den mån man alls kan se någon trend efter 1994, så är den att minskningen avtagit. Och när fortfarande 76% av vuxna kvinnor är eller har varit gifta, kan man väl knappast säga att "äktenskapet som institution har havererat".
Igår länkade Johan Lindqvist till det här YouTube-klippet, där den amerikanske högeragitatorn Bill O'Reilly pratar om en "svensk sociologisk studie" som visar att äktenskapet som institution havererat i Sverige, sedan homoäktenskap legaliserades här. Till den grad att numera är 65% av svenskarna ogifta.
Först skrattade jag högt åt O'Reillys ogenerade fabulerande - vi har ju t.ex. inte samkönade äktenskap i Sverige, och då faller liksom hela resonemanget. Men sen när jag grävde lite blev jag mer irriterad. Över att storyn - som trots allt är nästan tre år gammal - mest verkar ha kommenterats av svenskar, men passerat relativt obemärkt i amerikansk media. Och över att O'Reilly faktiskt inte tagit sina uppgifter fritt ur luften - han är mer förslagen än så.
Någon "svensk sociologisk studie" finns förstås inte, men däremot en lång artikel i den konservativa amerikanska veckotidningen The Weekly Standard, där det framgår att de syftar på partnerskapslagen från 1994 - "de facto gay marriage". Och när jag använder Factlab för att kolla den svenska äktenskapsfrekvensen, så stämmer det faktiskt att bara 35% av svenska kvinnor redovisas som gifta. Så visst, 65% är "inte gifta".
Men vänta lite. Statistiken, som ursprungligen kommer från SCB, gäller alla svenska kvinnor, inklusive nyfödda. Och förutom kategorierna "gift" och "ogift", finns "frånskild" och "änka". Barnäktenskap är inte så vanliga i Sverige, och knappast eftersträvansvärda, ens för konservativa talkshowvärdar. Så man bör ju åtminstone filtrera bort omyndiga. Men i Sverige, liksom i övriga västvärlden, växer gapet mellan "myndig" och "vuxen", i takt med att vi utbildar oss mer, bor kvar hemma längre, och får barn senare. Statistiken säger ju ingenting om vilka av dagens unga kvinnor som avser att gifta sig när de "blir vuxna".
28 år är den ålder vid vilken jag fick mitt första fasta jobb, och E-L:s ålder när vi gifte oss. Så jag väljer 28 som en godtycklig, men nog hyfsat korrekt, gräns för "vuxen". Och om man då fördjupar sig i SCB:s siffror, så ser man att av vuxna svenska kvinnor, 28-100+ år, är 24% ogifta, 49% gifta, 15% frånskilda och 12% änkor.
Tittar man på förändringen de senaste 40 åren, så har andelen gifta förvisso gått stadigt ned. Men i den mån man alls kan se någon trend efter 1994, så är den att minskningen avtagit. Och när fortfarande 76% av vuxna kvinnor är eller har varit gifta, kan man väl knappast säga att "äktenskapet som institution har havererat".
Prenumerera på:
Inlägg (Atom)
