Forskning

Forskning om mediepåverkan, medieeffekter och annat som har med hur vi påverkas politiskt av medier och kommunikation.

270 forskare gjorde om 100 studier – resultatet kommer att tråka ut dig fullständigt

Peter Dahlgren Leave a comment

Replicate All The Studies

Ett av de mest intressanta projekten inom den psykologiska forskningen är nu avslutat. 270 forskare har gjort om hundra gamla studier för att se om effekterna verkligen håller.

Resultatet? 39 av 100 studier replikerades framgångsrikt, enligt forskarnas egna bedömningar.

Att replikeringar misslyckas är dock inget argument för att forskning inte fungerar.

I så fall skulle vi ju omöjligt kunna upptäcka att effekterna inte finns, utan det beror snarare på publiceringsbias, statistiska oregelbundenheter där 1 av 20 resultat beror på slumpen, att vi räknar i sannolikheter snarare än eviga sanningar med mera.

I bilden nedan ser man samtliga studier och vilka effekter de fått. Helst ska alla bubblor hamna på eller över linjen som går snett uppåt. Bubblorna bör även vara så stora som möjligt.

Replikeringar

Själva artikeln går att läsa i tidskriften Science: Open Science Collaboration. Estimating the reproducibility of psychological science. Men det mest intressanta är ändå att all data och liknande kan laddas ned från webbplatsen Open Science Framework.

Fler borde ta efter modellen med att göra sin forskning helt öppen för allmänheten på detta vis. Om det betalas med skattepengar så bör ju forskningen rimligen också vara öppen för medborgarna.

Så här beskriver forskarna resultatet i sin slutsats:

After this intensive effort to reproduce a sample of published psychological findings, how many of the effects have we established are true? Zero. And how many of the effects have we established are false? Zero. Is this a limitation of the project design? No. It is the reality of doing science, even if it is not appreciated in daily practice.

Det är helt enkelt svårt att hålla på med forskning, vilket förklaras utmärkt i artikeln Science Isn’t Broken: It’s just a hell of a lot harder than we give it credit for. Där ges exempel på hur man kan dra olika slutsatser av samma data.

Samma data, olika slutsatser

Några av studierna med misslyckade replikeringsförsök har vi redan skrivit om i boken Påverkan och manipulation, till exempel om studien som testade stereotyp priming, där människor går långsamt efter att de har sett eller hört något som har med äldre att göra. Priming i sig är dock väl etablerat och det är endast specifika typer av priming som ifrågasatts.

Men det finns säkert anledning att revidera fler av de resultat vi hänvisar till.

Det vore helt klart önskvärt att fler discipliner inom samhällsvetenskapen försöker ta reda på om deras studier håller för granskning.

Läs mer

Det finns redan så mycket intressant skrivit, både på enkel prosa och obegriplig teknisk jargong. Du hittar några här:

Tidpunkten när flest journalister publicerar nyheter

Peter Dahlgren 1 Comment

Hur långt är nyhetsdygnet? Genom att titta på tidpunkten då 866 755 artiklar publicerats är det relativt enkelt att hitta en gemensam nämnare. Innan lunch på vardagar. Då är det som grötigast.

I tabellen nedan ser du antal artiklar som publicerats vid en given tidpunkt från de tolv största svenska nyhetssajterna. Totalt rör det sig om 17 månader bakåt.

Nyhetsdygnet sträcker sig huvudsakligen från klockan sex på morgonen till nio på kvällen.

Tidpunkt när journalister publicerar

Ju rödare färg i tabellen ovan, desto mer artiklar publiceras vid en given tidpunkt.

Här finns det dock flera skillnader mellan nyhetssajterna. Dagens Nyheter, exempelvis, publicerar nyheter relativt tidigt under dagen med störst andel av artiklarna vid klockan sex (8 procent) och klockan nio (9 procent) på morgonen. Aftonbladet har däremot med en mer jämnare publicering under arbetsdagen med en sakta ökning i publiceringstakten fram till lunch – 7 procent av artiklarna publiceras vid klockan elva på förmiddagen. Aftonbladets nyhetssajt uppdateras hela tiden med nyheter under dygnet.

Jag är dock lite bedräglig med denna tabell. Det är förstås meningslöst att använda så många artiklar för en sådan simpel tabell.

Det räcker med att titta på några veckor för att utröna mönster eftersom journalisternas arbetssätt sällan är slumpmässigt. Men närvaron av höga siffror gör att människor ofta tror mer på resultatet jämfört med låga siffror. Det finns många teorier om varför, en är exempelvis elaboration likelihood model. Teorin skiljer mellan två sätt att fatta beslut, ett snabbt och automatiskt (heuristiskt) samt ett långsamt och rationellt. De som övertygas av höga siffror tillhör därmed den förra gruppen av beslutsfattande, det vill säga snabbt och automatiskt.

Varför ska man bry sig vad folk i sociala medier tycker?

Peter Dahlgren Leave a comment

Opinion

Att folk i sociala medier uttrycker mer extrema åsikter är inte så konstigt. Med en knapp att gilla eller favoritmarkera är det enkelt att förstärka människors åsikter med en simpel knapptryckning, en form av positiv förstärkning. Sociala medier är därför lite av en Skinnerbox som lever sitt eget liv.

Till exempel läste jag här att något ”har fått delar av den så kallade gammelhögern att gå i taket på mikrobloggen Twitter”. Även SVT brukar referera till åsikter i sociala medier, till exempel att en presentpåse från vårruset innehöll olämpliga presenter och att nymålade huset inte alls är olämpligt. Då legitimeras referensen vanligtvis med att inläggen har ”delats tusentals gånger”.

Men varför ska man egentligen bry sig om vad människor tycker eller hur många som tycker något?

Det finns inget givet samband mellan antalet anhängare av en idé och själva idéns bärighet (även om det i idealfallet bör vara så). Allt hänger samman med vilka anledningar som anhängare har anammat idén. Men i tider av sociala medier är antalet som tycker något den enklaste formen av vox populi-argument då Twitter och Facebook gladeligen visar upp siffror på delningar och gillningar.

Det finns många teorier om oss människor och hur vi agerar. Vi är mer benägna att göra någonting igen om vi får positiv feedback från andra (operantbetingning), vi tittar på hur andra gör och gör likadant (social comparison) och ser till att våra åsikter inte sticker ut för mycket från majoriteten för att inte bli utfrysta (tystnadsspiralen).

Detta formar såklart oss som människor, men man får givetvis inte dra ett likhetstecken mellan vad andra människor gör och individens beteende. Individen har naturligtvis kraft att göra precis tvärtom om den vill, och kanske är det just det vi bör göra emellanåt. Att alltid anamma en åsikt enbart för att den är populär i en viss social grupp är detsamma som att abdikera från sitt kritiska tänkande.

Vad någon tycker är inte på långa vägar så intressant som vilka argument personen har för sitt tyckande. Det är snarare argumenten som bör vara avgörande för vår åsikt, snarare än den sociala grupp som råkar uttrycka den (och med vilken kraft de råkar uttrycka åsikten).

På sociala medier får man dock inte plats med någon större argumentation mer än att uttrycka sin åsikt med olika grader av emfas. Ju fler anhängare man har, desto större emfas får åsikten (och spridning).

Eller som filosofen Per Bauhn uttryckte det, Twitter är en form av ”Ring P1 för skrivkunniga”.

Läs mer

Hur stor blir felmarginalen vid en viss urvalsstorlek?

Peter Dahlgren Leave a comment

Hur stor blir felmarginalen vid en viss urvalsstorlek? Denna enkla fråga tänkte jag besvara genom att måla upp en graf.

Felmarginaler är ett roligt ämne. I stället för att traggla med formler eller tabeller försöker jag göra så mycket som möjligt visuellt, i synnerhet när jag ska visa för andra vad det egentligen är som händer. Det brukar vara lättare att förstå om man kan se resultaten av det man gör, snarare än att försöka bygga en abstrakt modell i huvudet av vad som händer (vilket förvisso inte ska underskattas det heller).

Jag försöker också dra nytta av mina programmeringskunskaper och lära mig R bättre. Så varför inte göra ett litet skript som gör allt det manuella arbetet till något som kan återanvändas och presenteras grafiskt?

Här kommer därför en liten bild som visar felmarginalerna vid olika urvalsstorlekar. Det gör det förhoppningsvis lite lättare att förstå varför man använder ungefär 1 000 personer i olika former av opinionsundersökningar, snarare än 2 000 eller 3 000. Vinsten av att använda fler personer än tusen är ofta inte särskilt stor.

Jag har också medvetet valt ett alternativ med 50 % eftersom felmarginalen blir som störst då. Det beror på att det i formeln finns en kvadratisk funktion (p * (1 - p)). Ju närmare mitten i intervallet 0 och 100 %, desto större blir helt enkelt osäkerheten.

Hur urvalsstorleken påverkar felmarginalen

Som du ser i koden nedan så förutsätter jag 95 % konfidensintervall om man inte anger något annat. Man måste dock skriva z-värdet, så därför bifogar jag en liten lathund över dessa. Och som vanligt gäller felmarginalerna inte för självselektion och liknande urval som inte har plockats slumpmässigt från en population.

# Lathund:
# 50 % CI = 0.674 z-score
# 80 % CI = 1.282 z-score
# 90 % CI = 1.645 z-score
# 95 % CI = 1.960 z-score
# 98 % CI = 2.326 z-score
# 99 % CI = 2.576 z-score

# Funktion för att räkna ut felmarginal
marginoferror <- function (p, n, z=1.96, population=9600000) {
    if(p>=1) {
      stop("p måste vara proportion under 1, exempelvis 0.60 för 60 %.")
    }
    # Skippa korrektionsfaktorn då den inte ger speciellt mycket
    return (z * sqrt((p * (1 - p)) / n) * 100) # * (1 - (n / population))))
}

# Funktion för att plotta felmarginal vid olika proportioner
plotta <- function (proportion, z=1.96) {
  # Bygg vektor med N och felmarginal
  l <- c(n=0, felmarginal=marginoferror(proportion, 0))
  for (n in 1:2000) {
   l <- rbind(l, c(n=n, felmarginal=marginoferror(proportion, n, z=z)))
  }
  
  # Plotta
  plot(l, type="n",cex.main=1.35, main=paste("Felmarginal vid olika urvalsstorlekar\nnär ett alternativ får ", proportion * 100, "% av rösterna", sep=""),
      xlab="Urvalsstorlek (N)", cex.lab=1.35, ylab="Felmarginal (%)")
  grid()
  points(l, col="red")
  axis(side=1, at=seq(0, 2000, by=500))
  axis(side=2, at=seq(0, 100, by=10))
}

plotta(0.50) # 50 %
plotta(0.50, z=2.576) # 50 % på 99 % CI

Vilken är den populäraste ideologin i massmedierna?

Peter Dahlgren Leave a comment

Vilken politisk ideologi skriver massmedierna mest om? Genom att undersöka svenska tryckta medier 2004 till 2014 kan man enkelt se att en ideologi är mer omnämnd än andra: rasism.

I stundens ingivelse fick jag en idé. Som tur är kan man enkelt gå från idé till handling med hjälp av internet (något som knappast är vanligt i forskningen överlag). Jag ville helt enkelt se vilken ideologi som är den mest omtalade i svenska massmedier.

Jag hade en känsla av att feminism var en populär ideologi i massmedierna förra året (populär i bemärkelsen att den ofta omnämndes). Detta inte minst då jag själv analyserat nyhetsartiklar som delades på Facebook och Twitter under första kvartalet 2014. De mest delade ideologierna på Twitter handlade nästan uteslutande om rasism och feminism, med ungefär samma mönster på Facebook.

Jag hade dock ingen data på hur det såg ut med de traditionella massmedierna. Så sagt och gjort, här är lite data jag i all hast sammanställt.

Rasism, feminism och nationalism mest populärt

Populära ideologier i svenska medier

Och om man zoomar in på de allra minsta ideologierna så kan man se detta:

Någon analys om varför siffrorna ser ut som de gör är jag inte beredd att ge, just därför att jag inte har en aning om vad som gjort att exempelvis rasism, feminism och fascism dubblerats från ett år till ett annat. Den uppenbara analysen ”för att det är så i samhället” är alldeles för trivial. Vi får en stor bild av verkligheten genom medierna och då är efterrationaliseringar av typen ”det är alltså så det är i samhället” ett ypperligt exempel på ett cirkelbevis.

Hur jag gjorde

Jag gjorde en sökning bland svenskt tryckt press i Retriever Mediearkivet mellan 2004 och 2014. Jag valde mina sökord genom att använda alla ideologier som slutar på ism i kategorin Politiska åskådningar på Wikipedia. Detta fångar såklart inte en debattartikel eller nyhetsartikel som förespråkar konsumtion, frihet, fri handel, mänskliga rättigheter och dylikt (liberalism/libertarianism), men det var jag heller inte intresserad av.

Du kan se min data i bilden nedan, eller ladda ned ett Excel-dokument med all data. Jag har exempelvis plockat bort nationalbolsjevism från diagrammen ovan eftersom det inte förekom nämnvärt (”bolsjevism” i allmänhet var inte heller särskilt förekommande).

Några vanliga åsikter om hur medier fungerar

Förutom att presentera data hängandes i luften, fri för alla möjliga och omöjliga tolkningar, tänkte jag även besvara några vanliga förställningar om hur medierna arbetar.

”Journalister är vänster och därför gynnar de vänstern.”

Det är sant att journalister är mer vänster och miljöpartister än gemene man, vilket framgår av journalistundersökningarna (som återfinns i denna PDF om journalisternas partisympatier). Detta oavsett vad politiska journalister som Mats Knutsson bara tycker i frågan.

Det lyfts ibland fram att Moderaterna är hårt ansatta av medierna (se exempelvis denna PDF från TNS Sifo). Men det är inte så konstigt med tanke på att de satt i regeringsposition de senaste åtta åren. Det är tvärtom önskvärt att journalister granskar det regeringsbärande partiet hårdast av alla partier.

Men det är viktigt att komma ihåg att detta sällan påverkar innehållet i medierna, i den mening att journalister systematiskt vinklar nyheterna till något partis fördel. Journalister är proffs och skriver inte utifrån någon politisk ideologi, utan snarare utifrån en sorts ”mediedriven” ideologi som träffar det parti som inte lyckas ducka för mediernas skott.

Att vänstermänniskor tycker att media är högervriden medan högermänniskor tycker att media är vänstervriden brukar förklaras med hostile media effect. Det är en skevhet i människors tänkande där vi ser alla de fall där motståndarsidan gynnas och där vi själva missgynnas. Det är just därför man behöver objektiva kriterier för att bedöma åt vilket politiskt håll medier lutar. (Och på det hela taget lutar alltså svenska massmedier inte åt något håll, åtminstone inte systematiskt.)

”Är det inte så att medierna speglar verkligheten? Om det är mycket rasism i samhället så skriver medierna mycket om det?”

Ja och nej.

Det är sant att massmedierna skriver om sådant som händer i samhället, men det urvalet som görs från verkligheten är ytterst begränsat. Om man tänker på det så förstår man också varför. Jag tror inte ens någon kan formulera ett påstående om vad ett representativt urval från verkligheten skulle vara. Det beror på att ”verkligheten” är så ofantligt stor och svårdefinierbar på alla sätt tänkbara. Däremot finns det vissa saker som är viktigare än andra för medborgarna i ett samhälle att veta. Till exempel om de folkvalda politikerna är korrupta eller inte, liksom om rasism och främlingsfientlighet ökar.

Forskning om mediernas dagordningseffekter innebär att det medierna skriver om också är det människor tänker på. Det har publicerats mer än 400 studier om dagordningseffekter, och det är en av de mest utforskade effekterna.

Däremot är frågan om riktningen på dagordningen lite problematisk. Med sociala medier är det ju inte omöjligt för en journalist att plocka upp frågor och göra nyheter av dem, vilket på så vis är en omvänd dagordningseffekt. Det har i viss mån alltid funnits, men huruvida det ökat med sociala mediers intåg är förstås en intressant fråga. Detta är något jag eventuellt kommer att fokusera på framöver, i anslutning till mitt eget arbete om selektiv exponering (vilket också hör ihop med filterbubblor och ekokammare).

Uppdatering 14 jan: Jag missade några ismer i urvalet från Wikipedia. Dessa har lagts till. De påverkar dock inte diagrammen synligt, men de är ändå uppdaterade.

Sprids känslor på Facebook? Nja, inte riktigt.

Peter Dahlgren 2 Comments

Facebook - känslor

I massmedierna har en nyligen publicerad studie framställts som att känslor sprids på Facebook. Om en vän slutar skriva en massa positiva ord så skriver du fler negativa ord. Men är det verkligen så?

Studien tittade på hur känslor kan spridas från en människa till en annan när de pratar eller interagerar med varandra på något sätt (emotional contagion). Forskarna manipulerade nyhetsflödet hos 689 003 Facebookanvändare och visade mindre positiva och negativa inlägg för användarna för att se om de påverkades under veckan. Rent konkret så var det en algoritm som sökte igenom Facebookinlägg och dolde inlägg om de hade positiva (eller negativa) ord.

När positiva inlägg försvann så ökade antalet negativa inlägg med 0,04 procent. Och när negativa inlägg försvann så ökade antalet positiva inlägg med 0,07 procent.

Men som vanligt när massmedierna refererar till forskning (och i synnerhet effekter) så görs alla nyanser om till ett svartvitt beslut: ”Sprids känslor vidare på Facebook eller inte?” Det är dock svårt att göra om en skala till en fråga som bara har två svarsalternativ. Det korta svaret är att det finns en effekt. Men den är inte speciellt stor, och den är heller inte speciellt relevant.

1. Väldigt, väldigt liten effekt

Så här säger Facebookstudien med all sin detaljrikedom:

When positive posts were reduced in the News Feed, the percentage of positive words in people’s status updates decreased by B = −0.1% compared with control [t(310,044) = −5.63, P < 0.001, Cohen’s d = 0.02], whereas the percentage of words that were negative increased by B = 0.04% (t = 2.71, P = 0.007, d = 0.001). Conversely, when negative posts were reduced, the percent of words that were negative decreased by B = −0.07% [t(310,541) = −5.51, P < 0.001, d = 0.02] and the percentage of words that were positive, conversely, increased by B = 0.06% (t = 2.19, P < 0.003, d = 0.008). The results show emotional contagion. [mina fetmarkeringar]

Skippa de krångliga siffrorna och titta på det mest uppenbara – procentstorleken. Skriver du mindre positiva ord på Facebook så minskar antalet positiva ord som dina vänner skriver med upp till 0,1 procent. Är det mycket? Nej, inte speciellt. Det är jävligt lite i sammanhanget om vi antar att du har 150 vänner (vilket är ungefär vad en genomsnittlig användare har).

Dessutom går det att notera att effektstorleken är väldigt, väldigt liten. Cohens d är som högst 0,02 i studien. Det är motsvarigheten till att hälla en burk rödfärg i Vättern och säga att man har färgat vattnet rött. Det är visserligen sant, men hur mycket av hela sjön har egentligen färgats rött? Det är knappt synbart och förmodligen inte något man behöver ringa Länsstyrelsen för att berätta.

Såvida du inte har 100 000 vänner lär du förmodligen inte påverka dina vänner speciellt mycket med dina statusuppdateringar. Men om du nu råkar vara Robyn eller någon annan kändis så kan du förmodligen påverka dina vänner så att några av dem uttrycker sig mer positivt eller negativt.

2. Ord är inte känslor

Ett annat problem är kopplingen mellan ord och känslor. För det första har de inte mätt känslor, utan känslouttryck, och det är något helt annat. Jag kan exempelvis uttrycka mig ledsamt samtidigt som jag är väldigt glad och vice versa.

Men detta är inte ett speciellt allvarligt problem eftersom vi ändå inte kan veta vad personen på andra sidan skärmen faktiskt tycker eller känner.

Citat kan innehålla negativa ord samtidigt som Facebookinlägget i övrigt är positivt, men det spelar inte heller så stor roll. Frågan är om orden smittar eller ej.

Dessutom sprids mycket tårdrypande historier liksom solskenshistorier via videoklipp och foton, som har högre potential att uttrycka känslostämningar, så vi kan anta att effekten är betydligt större när det kommer till multimedia. Det är dock oerhört svårt att undersöka foton och videon på en så stor vetenskaplig skala eftersom det sällan går att mäta på något vettigt sätt (vilket är en allvarlig brist i största allmänhet).

Läs också Word of Psychology som skrivit en bra kritik av metoderna. Där påpekas bland annat att textanalysen är kass eftersom den inte passar för korta texter.

3. Nej, konsekvenserna är små

Forskarna säger att detta experiment visserligen har små effekter men ändå har potentialen att påverka hundratusentals människor eftersom Facebook har över en miljard användare:

More importantly, given the massive scale of social networks such as Facebook, even small effects can have large aggregated consequences (14, 15): For example, the well-documented connection between emotions and physical well-being suggests the importance of these findings for public health. Online messages influence our experience of emotions, which may affect a variety of offline behaviors. And after all, an effect size of d = 0.001 at Facebook’s scale is not negligible: In early 2013, this would have corresponded to hundreds of thousands of emotion expressions in status updates per day.

Men detta är inte helt sant.

Människor är grupperade i kluster och information sprids inom kluster snarare än mellan dem. Det innebär att information på Facebook skickas mellan vänner och sällan når längre än så, och det beror i huvudsak på att det är vänner och kollegor som pratar med varandra på Facebook. Det finns förstås undantag där information sprids väldigt långt, upp till 82 steg från källan har uppmätts, men de är lätträknade i jämförelse. På andra sociala medier, såsom Twitter, är det däremot mer främlingar som talar med varandra, men däremot visar forskning att även på Twitter tenderar människor att prata med likasinnade.

Jag tror snarare att de långsiktiga effekterna av att använda sociala medier är betydligt ”starkare”, vilket också är något jag ska undersöka i min egen doktorsavhandling.

Och sedan den etiska biten att manipulera Facebookflöden utan att användarna är medvetna om det. Ja, den frågan ignorerar jag helt i detta inlägg och överlåter jag till moralfilosofer i stället. Det verkar dock som att de bröt mot många etiska regler inom vetenskapen, bland annat om samtycke och att man ska informera deltagarna om vad som har hänt.

Slutsats

Kan du påverka dina vänners känslor på Facebook? Nej. Effekten i den här studien är så liten så att jag vill påstå att den är försumbar och helt enkelt kan ignoreras.

Eftersom forskarna heller inte tar hänsyn till mediets egenskaper (hur människor använder Facebook och hur information sprids på Facebook) gör det att de av misstag sätter ett likhetstecken mellan känslornas spridningsmöjlighet med antal användare. Men de flesta Facebookanvändare har inte 100 000 vänner.

Det vill säga, information sprids mest mellan vänner och det innebär att informationen inte kommer speciellt långt. Därmed blir den känslomässiga spridningen (emotional contagion) inte heller speciellt påtaglig då de psykologiska teorierna inte kan överföras direkt till ett medium utan att man också tar hänsyn till hur folk använder medierna. Det är därför man måste ha kunskap om både psykologi och medier för att kunna göra psykologiska fältexperiment med medier.

Sammanfattningsvis, även om effekten hade varit större så hade den fortfarande inte varit speciellt relevant.

Betyder detta att Facebookanvändare är immuna mot känslomässig påverkan? Inte alls. Testa själv genom att skriva en statsuppdatering om att dina föräldrar har dött. Du kommer garanterat att påverka dina vänners känsloyttringar på Facebook väldigt mycket. Men räkna inte med att det kommer att spridas speciellt långt. Och räkna inte heller med att någon kommer att ta dig på allvar i fortsättningen.

Några som skrivit om studien

Här är ett axplock av massmedier och bloggar som skrivit om Facebookstudien:

Foto: Evan Raskob

Vad bäverbajs kan lära dig om källkritik

Peter Dahlgren 1 Comment

Att källkritiken är dålig på nätet är väl inget kontroversiellt påstående, men desto mer fascinerande är att personer som skriver om vikten av källkritik inte verkar tillämpa den själva.

Källkritik

I ett blogginlägg skriver Stiftelsen för Internetinfrastruktur (IIS) om vikten av källkritik när Facebooksidan Matfusket skriver om hur analsekret och urin från bävrar används som aromämne i mat.

Varför stiftelsen skriver om mat och djur kan man förstås fråga sig, men förmodligen för att ge något konkret exempel på källkritik.

Ungefär så här gick det till:

  1. Matfusket delar denna bild om bäverbajs i mat. Eller ”bävergäll” om vi ska vara mer korrekta.
  2. IIS skriver blogginlägget Vad sa du att jag delar? om vikten av källkritik. Där intervjuas en bäverexpert om hur ett ord som på engelska (castor oil) betyder ricinolja förmodligen har misstolkats som bävergäll (castoreum).
  3. Matfuskets Facebooksida svarar med källhänvisningar och i kommentarsfältet dyker länkar till vetenskapliga studier upp som visar att bävergäll förekommer i mat (och att det är ofarligt – för den som undrar).

Jag är ingen expert på mat eller bävrar, men det finns många källhänvisningar som stödjer Matfuskets påstående om att bävergäll används i mat (bland annat Burdock, 2007). Huruvida de andra påståenden Matfusket gör på Facebooksidan är sanna eller ej är förstås en helt annan fråga.

Att använda källkritik som utgångspunkt för kritik blir extra pinsamt om man gör sin egen källkritik dåligt. I stället för konkreta faktafel verkar kritiken snarare handla om att vinkeln är för hårt tillskruvad på Matfuskets Facebooksida. Men den intressanta frågan i sammanhanget är, i mitt tycke, egentligen experten i IIS blogginlägg.

En bäverexpert är förstås expert på bävrar. Så långt är allt enkelt. Men är bäverexperten även expert på mat som görs av eller från bävrar? Det är en svårare fråga. Djur och mat är två olika ämnesområden, men de överlappar förstås väldigt ofta. Kanske är en livsmedelsexpert en bättre person att intervjua. Det blir i grund och botten en fråga om hur långt man menar att expertens kunskaper egentligen sträcker sig.

6 kritiska frågor om experter

I slutet av boken Påverkan och manipulation ger jag några råd om hur man bedömer uttalanden från experter. Det kan man göra genom att ställa sex stycken kritiska frågor:

  • Expertis: Hur tillförlitlig är personen som expert?
  • Ämne: Är personen en expert i det område sakfrågan berör?
  • Omdöme: Vad var det som personen hävdade som leder fram till påståendet?
  • Trovärdighet: Är personen trovärdig som expert?
  • Konsistens: Stämmer påståendet överens med andra experters påståenden?
  • Bevis: Är påståendet baserat på några bevis eller belägg?

Dessa frågor ger inga entydiga svar på vad som är ett korrekt uttalande av en expert eller ej. Med de bör åtminstone ge en fingervisning om åt vilket håll uttalandet lutar, och det är viktigt för källkritiken.

Om man är osäker på en experts uttalande är det nästan alltid enklast att fråga en annan expert i samma eller närbesläktat område som sakfrågan berör. Poängen är att om de säger samma sak så bör det nog också förhålla sig på det viset. Att själv försöka söka i vetenskapliga databaser är förstås den ”bästa” formen av källkritik, men kräver också den ”bästa” utbildningen för att ha kompetens nog att göra det.

E-nummer

För övrigt skriver jag också ingående om E-nummer i boken. Det är ett effektivt sätt att manipulera människor att tänka negativt om mat om man säger att det innehåller många E-nummer eller tillsatser än om man säger att det innehåller många naturliga ingredienser. Men många naturliga ingredienser har ett E-nummer. Så man är egentligen mer rädd för orden än för innehållet.

Uppdaterat: DN, Expressen, Aftonbladet skriver också om det.

Varför ”Big Data” bara är lurendrejeri

Peter Dahlgren 1 Comment

Big data - statistik

Det finns ett outtalat antagande med big data att mer information innebär att vi kan fatta bättre beslut. Det vill säga, om vi kan få åtkomst till mer och mer data så blir slutsatsen vi kan dra från datan betydligt mer säker. Om vi exempelvis analyserar 2 miljarder inlägg från Twitter skulle vi med väldigt hög säkerhet kunna säga vad människor tänker och tycker om olika saker.

Allt detta är dock lurendrejeri.

(Först ett skämt: Finns det telefoner i lera, eller är det lurendrejeri? Okej, nu åter till allvaret.)

Vi behöver rätt information – inte mer

Mer information innebär inte nödvändigtvis bättre information. Det fundamentala är att man måste ha rätt sorts information för att kunna dra slutsatser. Inte mer information. Då spelar saker som ”big data” heller ingen roll, eftersom det inte löser de fundamentala problemet med att ha rätt information från första början.

Det kallas information bias och är en sorts ”skevhet” i människors sätt att tänka. Det är tron att ju mer information man har (för att fatta ett beslut), desto bättre är det. Men den tron är alltså ogrundad.

Nya, sexiga ”data science”

Ett roligt ord är ”data science”. Ungefär som om det vore ett helt nytt och revolutionerande sätt att bedriva forskning.

Forskare som håller på med stora mängder data borde ju rimligtvis innebära att de därmed kan dra stora slutsatser och stora generaliseringar. Det låter kanske som ett rimligt argument, men det är det knappast. Det är inte bara mängden data som avgör, utan också hur man har fått tag i den som är det väsentliga.

Ingenjören Pete Warden skriver på sin blogg om varför man aldrig ska lita på en data scientist. Genom att göra färgglada bilder med linjer och streck från 200 miljoner Facebookprofiler skulle man kanske kunna tro att han gjort en ”objektiv” beskrivning av Facebookanvändarna:

The clustering was produced by me squinting at all the lines, coloring in some areas that seemed more connected in a paint program, and picking silly names for the areas. I thought I was publishing an entertaining view of some data I’d extracted, but it was treated like a scientific study. A New York Times columnist used it as evidence that the US was perilously divided. White supremacists dug into the tool to show that Juan was more popular than John in Texan border towns, and so the country was on the verge of being swamped by Hispanics.

[…]

I’ve never ceased to be disturbed at how the inclusion of numbers and the mention of large data sets numbs criticism.

Det är gammal hederlig statistik…

Kan man säga att ”7 av 10 av unga har provat droger” så låter det trovärdigt och som ett allvarligt hälsoproblem. Det är ”fakta” som serveras rakt upp och ned. Att det i själva verket bara är femtio personer på Sergels torg som har fyllt i ett formulär och fått uppskatta droganvändningen bland sina vänner tycks vi vara mindre angelägna om att ta reda på. Formuleringen ”7 av 10” tycks vara nog för att vi ska sluta ställa frågor och låta vårt intellekt kapitulera.

Men man måste fortfarande göra lämpliga stickprov ur populationen, välja rätt skala och variabler liksom att analysera med rätt koefficienter och så vidare. Kort sagt: Man måste fortfarande hålla på med statistik. Och det kräver i regel lång utbildning och är ingenting som mer data eller snyggare infographics kan råda bot på.

…men statistik är inte sexigt

Det låter ju mer övertygande att säga att man har analyserat 200 miljoner Facebookprofiler än någon sociolog som gjort ett obundet slumpmässigt urval bland några tusental personer. Stora siffror är häftiga. Krångliga metodavsnitt i avhandlingar är ångestframkallande.

Vad som ger rätt slutsats är nämligen inte samma sak som det som ger en intressant slutsats. Forskare letar efter rätt slutsats till precist formulerade frågor, medan medierna letar efter en intressant slutsats baserad på vaga och förutfattade spekulationer till frågor (det som passar medielogiken).

Med hjälp av ”data science” och ”big data” får man däremot siffror att låta sexigt, utan att behöva befatta sig med jobbig statistik. Men som satirikern H.L. Mencken uttryckte det: ”För varje komplext problem finns det ett enkelt svar, och det är fel.”

Och när vi ändå är inne på att såga myter så kan jag säga att den ”magiska” gränsen för statistisk signifikans med ett p-värde < 0,05 är fullständigt godtycklig. Men det låter ju mer vederhäftigt om det är 0,05 eller under.

Slutsats

Big data är, trots sitt sexiga namn, inget annat än vanlig statistisk analys. Däremot finns det helt andra användningsområden för så kallad ”big data” som är mer lämpliga, men man kommer däremot inte ifrån att man håller på med statistik i någon form, eller att metoderna (insamling och analys) kommer att påverka resultatet.

Siffror öppnar inte en magisk dörr av värdeneutral objektivitet. Man måste fortfarande veta var siffrorna kommer ifrån och vad de betyder och, framför allt, vilka slutsatser man faktiskt kan dra från dem. Och det är gammal kunskap som ny teknik inte har förändrat.

Vad vi sällan behöver är mer och mer data. Vad vi snarare behöver är mer välformulerade problem.

Läs mer

Glada nyheter för alla alkoholiserade monster

Peter Dahlgren Leave a comment

Visste du att lite alkohol kan göra dig mer kreativ? Nu vet du i alla fall det.

Om du behöver tänka kreativt på ett sätt som du normalt inte gör, så kan ett glas alkohol vara positivt för problemlösning, visar ny forskning. Som en av forskarna, Jennifer Wiley, säger:

So the bottom line is that we think being too focused can blind you to novel possibilities, and a broader, more diffuse or more flexible attentional state may be needed for creative solutions to emerge. Some folks may choose a pint of ale as their muse, others can choose one of these other contexts […]

Uncorking the muse: Alcohol intoxication facilitates creative problem solving

Det är det jak *hick* har sagt hela tiden att litte öl kann vll inte fvara så skadlikt…

Lättsam podcast om vetenskap och kritiskt tänkande

Peter Dahlgren 1 Comment

En ny podcast har sett dagens ljus. En podcast om vetenskap och kritiskt tänkande som satsar på ett populärvetenskapligt och lättsamt innehåll.

Skeptikerpodden är en podcast som ifrågasätter påståenden om övernaturliga fenomen, vidskepelse och pseudovetenskap i största allmänhet. Har du någon gång undrat ”Är det verkligen sant?” är denna podcast för dig. Det är ditt fyrtorn i det vetenskapliga havet av ettor och nollor.

Anmäl dig på hemsidan för att få reda på när första avsnittet kommer ut eller följ Skeptikerpodden på Twitter eller Facebook.

Som om jag inte hade nog att göra kommer jag framöver även att producera denna podcast, i synnerhet att sköta all information och PR. Och hjälpa till med innehållet förstås, och kanske någon paneldiskussion om argumentation, felslut och logik, vilket jag tycker är intressant.