Ett av de mest intressanta projekten inom den psykologiska forskningen är nu avslutat. 270 forskare har gjort om hundra gamla studier för att se om effekterna verkligen håller.
Resultatet? 39 av 100 studier replikerades framgångsrikt, enligt forskarnas egna bedömningar.
Att replikeringar misslyckas är dock inget argument för att forskning inte fungerar.
I så fall skulle vi ju omöjligt kunna upptäcka att effekterna inte finns, utan det beror snarare på publiceringsbias, statistiska oregelbundenheter där 1 av 20 resultat beror på slumpen, att vi räknar i sannolikheter snarare än eviga sanningar med mera.
I bilden nedan ser man samtliga studier och vilka effekter de fått. Helst ska alla bubblor hamna på eller över linjen som går snett uppåt. Bubblorna bör även vara så stora som möjligt.
Själva artikeln går att läsa i tidskriften Science: Open Science Collaboration. Estimating the reproducibility of psychological science. Men det mest intressanta är ändå att all data och liknande kan laddas ned från webbplatsen Open Science Framework.
Fler borde ta efter modellen med att göra sin forskning helt öppen för allmänheten på detta vis. Om det betalas med skattepengar så bör ju forskningen rimligen också vara öppen för medborgarna.
Så här beskriver forskarna resultatet i sin slutsats:
After this intensive effort to reproduce a sample of published psychological findings, how many of the effects have we established are true? Zero. And how many of the effects have we established are false? Zero. Is this a limitation of the project design? No. It is the reality of doing science, even if it is not appreciated in daily practice.
Det är helt enkelt svårt att hålla på med forskning, vilket förklaras utmärkt i artikeln Science Isn’t Broken: It’s just a hell of a lot harder than we give it credit for. Där ges exempel på hur man kan dra olika slutsatser av samma data.
Några av studierna med misslyckade replikeringsförsök har vi redan skrivit om i boken Påverkan och manipulation, till exempel om studien som testade stereotyp priming, där människor går långsamt efter att de har sett eller hört något som har med äldre att göra. Priming i sig är dock väl etablerat och det är endast specifika typer av priming som ifrågasatts.
Men det finns säkert anledning att revidera fler av de resultat vi hänvisar till.
Det vore helt klart önskvärt att fler discipliner inom samhällsvetenskapen försöker ta reda på om deras studier håller för granskning.
Läs mer
Det finns redan så mycket intressant skrivit, både på enkel prosa och obegriplig teknisk jargong. Du hittar några här:
- Få resultat stämde när psykologistudier gjordes om (Sveriges Radio)
- The reproducibility of psychological science (Mind Hacks)
- Power of replications in the Reproducibility Project (Daniel Lakens)
- Kan vi lita på forskningsresultat? (Ekonomistas)
- Scientists often fail when they try to replicate studies. This psychologist explains why. (Vox)
- How Reliable Are Psychology Studies? (The Atlantic)