Statistik, och varför den kan vara båda sann och falsk samtidigt

Korrelation (samband) och kasualitet (orsakssammanhang) är två mycket viktiga begrepp om man vill börja förstå statistik, och varför den kan vara både sann och falsk samtidigt. Detta är något man lär sig på gymnasienivå nu för tiden, på naturvetenskapen, men är antagligen också det som glöms lika fort som det pluggades in inför proven. Varför skulle annars Internet krylla av bristfälliga analyser och felaktiga slusatser? Ja, bortsett från alla som vill sälja något och faktiskt ljuger medvetet alltså?

Att statistik kan vara sann och ändå missledande inser man när man läser om vetenskapsmännen som undersökte intelligensnivå hos en stor grupp människor. De tog många mått men ett korrelerade med lägre intelligensnivå, nämligen små fötter. Ju mindre fötter personerna i undersökningen hade, ju sämre klarade de sig på testerna helt enkelt. Omvänt verkade kurvan plana ut, inte öka ju större fötterna blev.

Statistiken i det här fallet förvrängs av det faktum att en av de utelämnade paramterarna är ålder. Små barn klarar sig sämre än vuxna på standardiserade intelligenstest. Kurvorna för små fötter och ålder korrelerar, och har ett kasualt samband: det är den späda åldern som gör att fötterna är små (man är inte liten för att man har små fötter däremot).

Just detta exempel är ganska lätt att se briserna i redovisningen, avsaknaden av viktiga data. Det blir svårare när man ger sig in på verklig forskning.

Ett annat metodfel som kan vara svårt att urskilja när det gäller verklig forskning illustreras av bilden från www.tylervigen.com för visst ser det ut som att de två datakurvorna matchar varandra perfekt, så fint att det nästan ser ut som att de har med varandra att göra? Med rätt urvalskriterier kan man få så fina kurvor, och i det här fallet är det ju ganska lätt att påstå att margarinkonsumtionen per capita antagligen inte har sänkt skillsmässofrekvensen i delstatet Maine.

Men för den som bara ögnar igenom en studie, utan att egentligen läsa och bara på jakt efter summeringen längst ner ger den hastiga blicken på diagrammet en bekräftelse, det finns ett samband här, där det egentligen saknas kasualitet fullständigt. Det är det här många bluffsidor lever på, att selektivt välja sitt underlag och bara presentera de rapporter som stödjer deras påstående.

Det är få områden idag som vetenskapen är helt enig om, så om någon hävdar att det råder konsensus på området är det dags att dra öronen till sig för något tveksammare och osäkrare än verklig veteskap har jag aldrig sett. Det enda tvärsäkra är dumheten.

Det räcker tyvärr inte att bara läsa kritiskt idag. Det gäller att beväpna sig med kunskaper, inte bara i ämnet utan även om matematik och hur man tolkar studier, hur man genomskådar bluffsidorna och hur man avslöjar charlatanerna. Det  är ganska mycket pyssel, men det är värt besväret.