Statistisk signifikans hjälper dig att skilja ett verkligt resultat från en tillfällighet i ett A/B-test. Den som inte förstår begreppet kan fira en vinst som bara var slump, eller förkasta en förändring som fungerade.
Vad statistisk signifikans betyder
När du jämför två versioner i ett A/B-test kommer deras konverteringsgrader nästan alltid att skilja sig något, även om versionerna är likvärdiga. Slumpen gör att den ena råkar få lite fler köpare. Statistisk signifikans är ett sätt att avgöra om skillnaden är för stor för att rimligen uppstå av slump om versionerna vore likvärdiga.
Är den det, kallas resultatet statistiskt säkerställt. Tröskeln heter signifikansnivå och sätts vanligen till 5 procent: du accepterar högst 5 procents risk att få ett säkerställt resultat fast versionerna är likvärdiga. A/B-testverktyg visar oftast i stället konfidensgraden, som då är 95 procent.
P-värdet, enkelt förklarat
P-värdet sätter en siffra på hur överraskande ditt resultat vore om versionerna var likvärdiga. Ett lågt p-värde betyder att en så stor skillnad vore osannolik under det antagandet, och tas därför som stöd för att förändringen har en verklig effekt. Med signifikansnivån 5 procent kräver du ett p-värde under 0,05. P-värdet säger varken hur stor effekten är, hur troligt det är att den är verklig eller hur sannolikt det är att skillnaden bara var slump. Det räknar åt andra hållet: från antagandet att versionerna är likvärdiga till hur illa data stämmer med det antagandet. Amerikanska statistikerförbundets uttalande om p-värden är uttryckligt på just den punkten. En liten men säkerställd förbättring kan vara mindre värd än en stor men osäker.
Varför urvalsstorleken är avgörande
Ju färre besökare testet bygger på, desto mer väger slumpen. Med 100 besökare per version kan konverteringsgraderna se väldigt olika ut utan att skillnaden betyder något, medan samma skillnad med 10 000 besökare per version kan vara solid. Därför bör du bestämma i förväg hur mycket trafik testet behöver, utifrån din baskonvertering och hur liten effekt du vill kunna upptäcka, och låta det köra klart.
Faran med att tjuvkika
En vanlig fälla är att titta på resultatet varje dag och stoppa testet så snart det ser signifikant ut. Kikar du tillräckligt ofta kommer slumpen förr eller senare att visa en tillfällig signifikans som sedan försvinner. Ju oftare du kikar, och ju tidigare du avbryter, desto större är risken för falska vinster. Bestäm testlängden i förväg och håll dig till den, eller använd en metod som är byggd för löpande avläsning.
Typ 1-fel och typ 2-fel: de två sätten ett test kan lura dig på
Ett typ 1-fel innebär att du drar slutsatsen att det finns en skillnad mellan version A och B, fast de i verkligheten är likvärdiga och skillnaden bara var slump. Signifikansnivån, oftast 5 procent, är den högsta risk för ett typ 1-fel som du accepterar.
Ett typ 2-fel är motsatsen. Då finns det en verklig skillnad mellan versionerna, men testet lyckas inte visa att den är säkerställd, oftast för att för få besökare deltog. Sannolikheten att upptäcka en effekt som finns kallas testets styrka. En vanlig standard är 80 procents styrka, vilket ger högst 20 procents risk att missa en effekt som finns. Ju lägre risk för typ 1-fel du väljer, desto fler besökare krävs i regel för att samtidigt hålla nere risken för typ 2-fel.
Räkneexempel: hur många besökare du behöver per variant
Så här ser resonemanget ut i praktiken. Säg att din nuvarande konverteringsgrad är 2 procent, och att du vill kunna upptäcka en relativ förbättring på 20 procent, alltså en höjning till 2,4 procent. Med den vanliga kombinationen 5 procents signifikansnivå och 80 procents styrka ger den etablerade formeln för två andelar ett urvalskrav på ungefär 21 100 besökare per variant, alltså drygt 42 000 totalt för hela testet.
Formeln bygger på samma matematik som vår A/B-testkalkylator använder för att avgöra signifikans i efterhand, ett tvåsidigt z-test för två andelar. Kalkylatorn tar besökare och konverteringar du redan har och räknar ut om skillnaden är säkerställd. Räkneexemplet gör det omvända och utgår från hur stor skillnad du vill kunna upptäcka, för att räkna fram hur många besökare testet behöver före start.
Räknar du ut urvalsstorleken i förväg, i stället för att köra testet tills det ”känns klart”, undviker du tjuvkiksfällan. Bestämmer du besökarantalet före start och håller dig till det, ligger risken för typ 1-fel på den signifikansnivå du valt. Utan en sådan plan glider riskerna i väg ju oftare du tittar på resultatet under testets gång. Samma förhandsräkning avgör dessutom hur många varianter och celler ett test rimligen klarar när du prövar flera element samtidigt. Mer om det finns i jämförelsen mellan A/B-test och multivariattest.
Räkna ut det själv
Du behöver inte räkna för hand. Mata in antal besökare och konverteringar för dina två versioner i vår A/B-testkalkylator, så får du konverteringsgrad, uplift, p-värde och besked om skillnaden är säkerställd på 95 procents nivå. Kalkylatorn använder ett tvåsidigt z-test för två andelar, och allt räknas ut i din webbläsare utan att något sparas. Kommersiella testverktyg räknar ofta på ett annat sätt, vilket vi jämför i genomgången av VWO och AB Tasty. Signifikans är dock bara halva bilden: väg den alltid mot hur stor effekten är och mot hur din konverteringsgrad utvecklas över tid.
Senast faktagranskad: 15 oktober 2026