A/B-testning är en metod som används för att jämföra två olika versioner av något (till exempel en webbsida, en e-postkampanj eller en annons) för att se vilken som presterar bättre.
tjänst: digital projektledare
omfattning: heltid
ort: skellefteå/umeå
tillträde: flexibelt
Först och främst måste man bestämma varför man gör testet och vad man vill uppnå med testet. Det kan vara att öka antalet klick på en annons/länk, öka antalet köp eller öka konverteringsfrekvensen. När man bestämt vad man vill uppnå med testet kan man sätta igång att planera sitt test.
Nästa steg är att bestämma vad man vill testa. Det kan vara en rubrik, en bild, en knapp, en annonskopia eller en annan faktor som kan påverka konverteringsfrekvensen. Se till att testet är väl definierat och att det finns tydliga hypoteser om vilken version som kommer att prestera bättre. Innan testet börjar ska man utöver ha tydliga hypoteser även valt vilken signifikansnivå testet ska ha.
Att sätta en signifikansnivå är viktigt att man gör före testet och inte att man anpassar den efter testet är genomfört. Enkelt uttryckt kan signifikansnivån ses som ett sätt att mäta hur säker man kan vara på att skillnaderna i resultaten för A/B-testet faktiskt är en riktig skillnad och inte bara en slumpmässig variation.
Vanligtvis sätter man en signifikansnivå 95% (eller högre), vilket innebär att sannolikheten för att skillnaderna beror på slumpen är mindre än 5%, så anses resultaten vara signifikanta. Om sannolikheten är högre än 5%, anses skillnaderna inte vara signifikanta och man kan inte dra några slutsatser om vilken version som presterar bättre.
Signifikansnivå är ett mått på hur säker man kan vara på att skillnader i resultaten inte bara beror på slumpmässighet, utan faktiskt är en verklig skillnad mellan de två versionerna i ditt A/B-test.
För att säkerställa att testet är rättvist måste man se till att ens besökare/mottagare slumpmässigt delas upp mellan de två versionerna av det man vill testa. För hemsidor finns det olika verktyg som kan användas för att göra detta, t.ex. Google Optimize (kommer gå i graven 30 september 2023) eller Optimizely. För att testa olika annonser har vissa annonsplattformar denna funktion inbyggt.
Observera att besökarna/mottagarna inte ska utsättas för båda varianterna , detta är viktigt eftersom det hjälper till att eliminera risken för förorenad data i A/B-testet.
Om en besökare/mottagare utsätts för både Version A och Version B, kan det påverka deras beteende och beslut på ett sätt som inte är relaterat till de faktiska förändringarna som man testar. Vilket i sin tur kan leda till felaktiga slutsatser om vilken version som presterar bättre.
När man slumpmässigt delar upp sina besökare/mottagare mellan Version A och Version B och att varje besökare/mottagare bara utsätts för en version, kan man säkerställa att de faktiska förändringarna som testas påverkar deras beteende och beslut. Detta leder till mer tillförlitliga och användbara resultat från det genomförda A/B-testet, som i sin tur gör att man kan fatta mer informerade beslut om hur man kan förbättra sin webbplats eller marknadsföringskampanj.
Först när man har satt tydliga mål med testet och hypoteser kan man påbörja datainsamlingen. Här är det viktigt att man låter testet pågå tillräckligt länge för att samla in tillräckligt med data för att göra en säker slutsats om vilken version som presterar bättre. Hur länge testet ska pågå beror på antalet besökare på webbplatsen och hur stor förändring man förväntar sig att se. Observera att det krävs mycket data för att kunna dra signifikanta slutsatser från ett A/B-test.
När man har samlat in tillräckligt med data är det dags att analysera resultaten. Använd statistiska verktyg för att utvärdera vilken version som presterar bättre och se till att det inte finns några andra faktorer som kan påverka resultaten. Till exempel genom att analysera datan via ett t-test.
Slutligen måste man dra slutsatser baserat på sina resultat. Om den nya versionen presterar bättre än den befintliga versionen, bör man överväga att implementera den nya versionen. Om den befintliga versionen presterar bättre kan man behålla den och fortsätta optimera den.
Först när man har följt dessa sex steg kan man genomföra ett A/B-test korrekt och ta reda på vilken version av något som fungerar bäst för sina användare.
Generellt att göra A/B-tester på annonsmaterial kräver mycket data och samtidigt att man ska ha satt tydliga hypoteser och en signifikantnivå innan man gör ett A/B-test. Det vill säga att testköra två olika annonser och sedan dra en slutsats bara baserat på att ena annonsen har något högre CTR-nivå är INTE ett korrekt A/B-test, utan det är ett ”splittest”. Datan måste analyserar och testas genom en statistisk-test (exempelvis t-test eller annan statistikmetod). Vissa plattformar och verktyg har denna funktion inbyggt, annars kan man utföra sin analys i R (R är ett programmeringsspråk och en programvarumiljö som används för statistisk analys och datavisualisering).
Till exempel A/B-testning i Xandr´s DSP (programmatic) för annonsmaterial går inte att genomföra på ett korrekt sätt eftersom vi inte har någon möjlighet att dela upp grupperna slumpmässigt och säkerställa att de enbart ser en av de versionerna som ska testat.
Istället för att använda termen A/B-test felaktigt kan man nyttja termen ”split testing” eller splittest vid test av olika annonser.
Mikael Hjelm
Analytiker & Digital Specialist
Här tar vi första steget mot att tillsammans skapa bättre marknadsföring. kontakta oss så hör vi av oss inom 48h och berättar hur
