Frågan först, studien sedan
En studie besvarar en fråga, inte alla frågor. Skyddseffekt i prövning, effekt i befolkning, immunogenicitet och säkerhet kräver olika design, olika jämförelser och olika uppföljning. Att en studie är stor eller välciterad gör den inte relevant för en fråga den inte ställde.
Därför sorterar vi studier per fråga i stället för att lägga dem i en gemensam hög och räkna ihop dem till ett omdöme. Vi sätter medvetet inget samlat evidensbetyg.
Randomiserat mot observationellt
I en randomiserad studie fördelas deltagarna slumpmässigt. Det är det enda sättet att i praktiken balansera även okända skillnader mellan grupperna. Svagheten är att prövningar ofta är korta, selekterade och byggda för ett smalt mått.
Observationsstudier följer människor som redan hamnat i olika grupper. De kan vara mycket stora och täcka lång tid, men grupperna skiljer sig systematiskt åt. Statistisk justering minskar problemet men tar inte bort det. Association är inte kausalitet – och tidsföljd är inte orsak.
Vad jämfördes vaccinet med?
avgör vad resultatet betyder. Jämförs ett vaccin med en mäts hela produktens effekt och hela dess biverkningsprofil. Jämförs det med ett annat vaccin faller allt som är gemensamt för produkterna ur jämförelsen – både nytta och risk.
Vi kallar aldrig en kontrollgrupp inert placebo om inte studien eller källan dokumenterar det. Där uppgiften saknas står det att den saknas. Att en kontrollgrupp inte var inert är i sig ett okontroversiellt faktum ur tillverkarnas egna dokument; det är tolkningen av vad det betyder som ska läsas som en tolkning.
Effektmått och surrogat
Ett kan vara klinisk sjukdom, sjukhusvård eller död – eller ett som antikroppsnivåer. Immunogenicitet är ett eget resultat, inte en översättning av klinisk skyddseffekt. Ett antikroppssvar blir bevis för skydd först när sambandet mellan måttet och sjukdom är etablerat i eget underlag.
Att en produkt godkänns eller får en viss produkttext är ett regulatoriskt beslut. Det är inte i sig ett bevis för att en underliggande klinisk hypotes är prövad.
Uppföljningstid
sätter taket för vad som kan upptäckas. En studie som följer deltagarna i sex veckor kan inte uttala sig om utfall efter fem år. Noll observerade händelser är inte detsamma som noll risk – det beror på hur många som följdes och hur länge.
Absoluta och relativa tal
En relativ riskminskning på 50 procent kan betyda mycket eller nästan ingenting beroende på utgångsrisken. Där det är väsentligt redovisar vi absoluta tal med tydlig täljare, nämnare och tidsperiod. Dödlighet är inte insjuknande, och rapporterad händelse är inte fastställd biverkning.
Störfaktorer och multiplicitet
Störfaktorer är skillnader mellan grupperna som påverkar utfallet av andra skäl än vaccinet – ålder, hälsotillstånd, vårdsökande och socioekonomi är vanliga. En särskild variant är att den som just blivit vaccinerad ofta är friskare än den som inte blivit det.
Multiplicitet handlar om att många analyser ger slumpmässiga träffar. Ett fynd i en av trettio undergrupper är en hypotes, inte ett resultat, om det inte var planerat i förväg.
Finansiering och intressekonflikter
Finansiering och intressekonflikter redovisas när de framgår av källan. De ogiltigförklarar inte ett resultat, och de bevisar ingenting i sig – de är information om under vilka villkor studien gjordes. Där uppgiften saknas i vårt underlag står det att den är okänd, inte att den saknas i verkligheten.
Samma måttstock gäller myndigheter, tillverkare, förespråkare, kritiker och den här webbplatsen. Institutionell auktoritet är inte evidens, och misstro är det inte heller.