Prinsippet er enkelt: du endrer én ting, og lar alt annet være likt. Det kan være overskriften i en annonse, bildet på en landingsside eller teksten på en knapp. Trafikken fordeles tilfeldig mellom variantene, slik at forskjellen i resultat faktisk skyldes endringen, og ikke tilfeldigheter som når på døgnet folk så den.
Grunnen til at man tester én ting om gangen, er at du ellers ikke vet hva som utgjorde forskjellen. Endrer du både overskrift og bilde samtidig, og variant B vinner, aner du ikke hvilken av endringene som gjorde jobben. Med én endring per test lærer du noe konkret hver gang, og kunnskapen kan brukes videre i alt du lager.
Testen trenger også nok data før du kan stole på den. Vinner variant B med 6 klikk mot 4, kan det like gjerne være flaks. Derfor lar man testen gå til begge variantene har fått et solid antall visninger og klikk, og i annonseplattformene finnes det innebygde verktøy som hjelper deg å sette opp dette riktig.