POPJAM Logo
Tagasi blogisse

Millal kasutada mitme muutujaga reklaamitestimist ja millal mitte?

Vaata, millal kasutada mitme muutujaga reklaamitestimist konversioonide suurendamiseks ja reklaamikulu optimeerimiseks. Tutvu peamiste eelistega.

Doruk Gezici
Doruk Gezici
12 min lugemist
Millal kasutada mitme muutujaga reklaamitestimist ja millal mitte?

Kasuta mitme muutujaga reklaamitestimist siis, kui pead leidma, milliste loovelementide koosmõju suurendab konversioone. Kasuta A/B-testimist siis, kui vajad ühe muudatuse kohta kiiret ja eristatavat teadmist. See on kogu otsustuspuu ühes lauses, kuid üksikasjad loevad, eriti kui meediaeelarve ei kannata ebaõnnestunud katset.

Mitme muutujaga testimine on tugev siis, kui liiklust on piisavalt ja küsimus puudutab tõesti elementide koostööd, mitte üksnes seda, milline neist eraldi võidab.

  • Näitab, millised pealkirja, pildi ja tegevuskutse kombinatsioonid tegelikult koos toimivad, selle asemel et iga osa eraldi oletada
  • Kiirendab reklaamidest õppimist, kui seda ühendada automaatse variantide loomisega
  • Vähendab raisatud reklaamikulu, kõrvaldades nõrgad kombinatsioonid varakult, mitte kasvatades nende mahtu

Reklaamitestimise praktiliste rusikareeglite järgi ootavad praktikud enne tulemuse usaldamist tavaliselt, kuni parim variant jõuab minimaalse konversioonilävendini. Tegelik takistus on sageli tootmise keerukus. Just seda puudujääki lahendab POPJAM.IO, luues ja eeltestides variante enne nende jõudmist päris eelarveni.

Lühidalt:

  • Mitme muutujaga testimine näitab, kuidas pealkirjade, piltide ja tegevuskutsete kombinatsioonid mõjutavad koos konversioonimäära. See eeldab piisavat liiklust.
  • Usaldusväärseks tõlgenduseks on vaja vähemalt 20–30 konversiooni variandi kohta kahe kuni kolme nädala jooksul. Muidu on parem kasutada järjestikuseid A/B-teste.
  • Automaatne reklaamiloome ja sünteetiliste persoonadega eeltestimine vähendavad oluliselt tootmisaega, muutes väikesed kiired testmaatriksid teostatavaks ka väiksematele tiimidele.
  • Otsuste põhimõõdik olgu CPA või ROAS ning praktilise võitjalävendina kasuta 20% CPA erinevust.
  • Õige ajastus, liikluse jagamine ja samaaegsete pakkumismuudatuste vältimine on hädavajalikud kallutatuse ärahoidmiseks ning mitme muutujaga reklaamitesti õigeks tõlgendamiseks.

Sisukord

Mis on mitme muutujaga testimine ja kuidas see erineb A/B-testimisest?

Mitme muutujaga testimine hindab korraga mitut reklaamielementi. See mõõdab, milline versioon võidab ja milline osade kombinatsioon võidu tekitab. Mitme muutujaga testimise üldise raamistiku järgi võib sellest mõelda kui paljude A/B-testide samaaegsest läbiviimisest. Kui testid koos pealkirja, pilti ja tegevusnuppu, ei küsi sa „milline pealkiri on parem”. Küsid hoopis „milline pealkiri koos millise pildi ja tegevuskutsega toimib kõige paremini ning kas kombinatsioon ise loeb?”.

A/B-testimine eraldab ühe muutuja korraga. Muuda pealkirja, hoia muu samana ja mõõda erinevust. See on puhas, kiire ja kergesti tõlgendatav, kuid ei näita koosmõjusid.

  • A/B-test: pealkiri A võrreldes pealkirjaga B, sama pilt, sama tegevuskutse, üks selge võitja
  • Mitme muutujaga test: kaks pealkirja, kaks pilti ja kaks tegevuskutset kombinatsioonidena, kokku kuni kaheksa varianti
  • Koosmõju näide: pealkiri A võib pildiga 1 anda nõrga, kuid pildiga 2 tugeva tulemuse. A/B-testimine seda mustrit välja ei tooks

Kompromiss puudutab andmeid. A/B-test vajab mitme muutujaga testiga võrreldes vaid murdosa liiklusest, sest sa ei jaga sihtrühma kaheksaks või kuueteistkümneks. See üks tõsiasi määrab suurema osa järgmise jaotise otsustest.

Millal eelistada mitme muutujaga testi A/B-testile?

Liikluse maht on ülekaalukalt määrav eeltingimus. Muutujate lisamisel kasvab mitme muutujaga testi andmevajadus eksponentsiaalselt. Seetõttu on väikese liiklusega kampaaniatel MBell Media testimisjuhendi järgi peaaegu alati kasulikum teha järjestikuseid A/B-teste. Kui kampaania ei anna piisavalt konversioone, et mõistliku ajaga statistiliste lävenditeni jõuda, põletab täismaatriksi kasutamine eelarvet ebamäärasele mürale.

Enne mitme muutujaga testi ehk MVT-ga alustamist läbi järgmine esmane otsustusjada:

  1. Kontrolli konversioonimahtu. Kontol peaks päevas olema piisavalt konversioone, et iga maatriksi variant võiks realistlikult jõuda kahe kuni kolme nädalaga 20–30 konversioonini.
  2. Veendu, et küsimus puudutab koosmõju, mitte eraldatud mõju. Kui tead juba parimat pealkirja ja pead testima vaid uut pilti, on see A/B-test. Kui sa tõesti ei tea, kuidas pealkiri ja pilt koos toimivad, on see MVT küsimus.
  3. Arvuta tootmise kulu. Kaheksa variandiga maatriks tähendab kaheksat reklaamimaterjalide komplekti. Kui käsitsi tootmine tekitab kahenädalase pudelikaela, sureb test enne algust.
  4. Kontrolli, et eelarvest piisaks kogu maatriksile. Liiga õhukeselt jaotatud eelarve korral ei anna ükski variant usaldusväärset tulemust.

Enamik tiime loobub mitme muutujaga testimisest märkamatult just tootmise etapis. Põhjus pole matemaatikas, vaid selles, et kellelgi pole aega kaheksat reklaamiversiooni käsitsi teha. Automaatne reklaamiloome eemaldab selle piirangu. Just seetõttu on MVT muutunud hiljuti praktiliseks väiksematele tiimidele, selle asemel et jääda ainult suurettevõtete luksuseks.

Kuidas kavandada mitme muutujaga reklaamitesti?

Käed paigutamas reklaamivariantide kaarte testmaatriksiks

Alusta muutujate järjestamisest oodatava mõju, mitte tootmise lihtsuse järgi. Kõige suuremaid tulemuse muutusi tekitab tavaliselt konksu või pealkirja tekst, seejärel põhipilt või video ning siis konversiooni suunav tegevuskutse. Taustavärv ja nupu kuju mõjutavad tulemust harva piisavalt, et maatriksis kohta väärida.

Kui oled valinud kaks või kolm tähtsaimat muutujat, vali katseplaan:

  • Täisfaktoriaalne katse testib kõiki võimalikke kombinatsioone. Kolm muutujat, igaühel kaks valikut, annavad kaheksa varianti. Andmed on selged, kuid kombinatsioonide arv kasvab kiiresti.
  • Osafaktoriaalne katse testib strateegiliselt valitud kombinatsioonide alamhulka, vähendades maatriksi suurust ning hinnates siiski enamikku koosmõjusid. Meetodit kirjeldatakse katsete planeerimise ülevaates.
  • Taguchi või optimaalne katseplaan läheb kaugemale, kasutades statistilist modelleerimist testimata kombinatsioonide tulemuste järeldamiseks väiksemast valimist. See on kasulik nelja või enama muutuja korral, kui täisfaktoriaalse katse eksponentsiaalne kasv pole jõukohane.

Enamikule tulemusturunduse tiimidele sobiv algmaatriks on kaks konksu × kaks põhipilti × kaks tegevuskutset, kokku kaheksa varianti. See on keskmise päevaeelarvega hallatav ning annab kolme muutuja kohta tegeliku signaali, nõudmata kahtkümmet reklaamimaterjali.

Praktiline nõuanne: Ehita algmaatriks muutuja ümber, mille suhtes oled kõige ebakindlam, mitte enda lemmiku ümber. Ego valib vale põhipildi sagedamini kui andmed.

Laienda alles pärast seda, kui esimene maatriks annab selge võitja. Järgmises põlvkonnas lukusta võitja kontrollvariandiks ja testi selle vastu uut muutujat. Viie muutuja lahendamine ühes maatriksis paneb enamiku mitme muutujaga teste oma andmevajaduse all kokku kukkuma. Reklaamteksti käivitamiseelse testimise töövoog võib aidata konksu ja tegevuskutse kombinatsioone kontrollida enne täismaatriksi tootmisesse aja panustamist.

Kuidas mitme muutujaga testi reklaamiplatvormidel läbi viia?

Esimene praktiline otsus on liikluse jagamine ning see ei ole alati 50/50. Võrdne jaotus sobib siis, kui ühegi variandi kohta pole varasemat signaali. Jaotus 70/30 olemasoleva kontrollvariandi kasuks on mõistlik, kui testid uusi kandidaate tõestatud reklaami vastu ning tahad õppimise ajal kaitsta konto üldist tulemust.

  1. Määra liikluse jaotus selle järgi, kui suurt riski oled olemasoleva algtasemega võrreldes valmis võtma.
  2. Anna igale variandile piisav eelarve. Tagasihoidliku päevapiirangu korral hoia maatriks kuue või kaheksa variandi juures, nagu soovitab reklaamivariantide testimise praktiline juhend. Suurem päevaeelarve toetab suuremat maatriksit, jätmata üksikuid variante andmeteta.
  3. Testi vähemalt üks terve nädalatsükkel, ideaalis kaks kuni kolm nädalat, et nädalapäevade mõju tulemust ei kallutaks, nagu soovitavad platvormitestide ajastuse head tavad.
  4. Kasuta võimaluse korral platvormi enda katsetööriistu. Google Ads toetab reklaamivariatsioone ja ametlikke katseid sisseehitatud liikluse juhtimise ning aruandlusega. Nii saad reklaamivariatsioone luua ja käivitada eraldi jälgimissüsteemi ehitamata.
  5. Arvesta Smart Biddingu õppimisfaasiga. Suured reklaami- või eelarvemuudatused käivitavad algoritmi õppimisakna uuesti. Seetõttu ära lisa reklaamitestile samaaegset pakkumismuudatust.

Ka samaaegsus loeb. Ära käivita mitme muutujaga loovtesti samal nädalal, mil korraldad ümber kampaania pakkumisi. Stabiliseeri esmalt pakkumised ja lisa seejärel loovkatsed. See järjekorrapõhimõte pärineb laiematest Google Adsi testimise headest tavadest.

Kuidas mitme muutujaga testi tulemusi õigesti analüüsida?

Vali ärilise tulemusega seotud põhimõõdik, mitte pelgalt kena kaasatusnäitaja. Otsuse aluseks olgu CPA või ROAS. CTR ja kaasatusmäär toimigu kontrollmõõdikutena, mis annavad märku reklaamiprobleemidest, kuid ei määra lõppotsust. Kõrge CTR koos keskpärase CPA-ga tähendab tavaliselt, et reklaam kogub klikke, kuid meelitab vale ostja.

Statistiline olulisus ja praktiline olulisus on eri küsimused ning nende segiajamine raiskab nädalaid. Eelarvejaotust muutvate otsuste puhul sihi 95% usaldustaset, kuid ära oota õpikulist kindlust iga pisikese otsuse jaoks.

  • Juhtiva variandi ja ülejäänute praktiliselt märgatav CPA erinevus on praktikute rusikareeglite järgi mõistlik praktilise olulisuse lävend võitja kiiremaks valimiseks.
  • Enne CPA võrdluse usaldamist oota, kuni parimal variandil on piisavalt konversiooniandmeid.
  • Ära kuuluta võitjat välja teise päeva andmete põhjal, isegi kui erinevus tundub suur.

Kui sul on tegelik võitja, vii see laiemasse kasutusse kolme sammuga. Esiteks koonda eelarve: peata kaotanud variandid ja suuna nende kulu võitjale kahe kuni kolme päeva jooksul, mitte korraga. Teiseks lisa võitja püsireklaamide ringlusse ning jälgi CPA-d 72 tundi, et kontrollida kasu püsimist väljaspool testitingimusi. Kolmandaks alusta järgmist maatriksit võitja kui uue kontrollvariandiga ja testi selle vastu värsket muutujat. Seda tsüklit kirjeldab võitjate laiema rakendamise protokoll. Just kolmas samm muudab ühe hea testi kasvavat kasu andvaks testimisprogrammiks, mitte ühekordseks võiduks.

Millised vead rikuvad mitme muutujaga reklaamiteste?

Nimekirja eesotsas on Smart Biddingu sekkumine. Kui muudad testi keskel pakkumisi, eelarveid või sihtimist, alustab algoritm õppimisfaasi uuesti. See võib panna tõeliselt hea variandi paistma keskpärasena lihtsalt seetõttu, et süsteem pole veel uuesti õppinud, kellele seda näidata. Anna pakkumismuudatustele omaette aeg, mis ei kattu kunagi loovtestiga.

Teine levinum viga on võitja enneaegne valimine. Teisel päeval 40% parem tunduv variant taandub kümnendaks päevaks sageli keskmise poole. Just sellepärast ongi konversioonilävend vajalik.

  • Ära jaga andmeid tagantjärele rühmadeks, et leida alamhulk, kus sinu lemmikvariant „tegelikult võitis”. Määra alarühmaanalüüs enne testi või jäta see tegemata.
  • Jälgi sagedust ja kaasatusmäära trende väsimusmärkide leidmiseks. Sagedus üle 3–4 koos varem tugeva variandi langeva kaasatusmääraga tähendab tavaliselt, et aeg on reklaami vahetada, mitte eelarvet suurendada.
  • Sea varajase peatamise reegel variandile, mis pole toonud ühtegi konversiooni pärast mõistliku kululävendi ületamist võrreldes siht-CPA-ga. Ära hoia läbikukkunud varianti töös lihtsalt selleks, et „lasta andmetel rääkida”.

Reklaamiväsimus on pikalt kestvate maatriksite vaikne hävitaja. Ka võitev kombinatsioon halveneb ajaga, kui sihtrühm seda korduvalt näeb. See on veel üks põhjus hoida järgmise põlvkonna maatriks valmis käivitamiseks kohe, kui praeguse võitja tulemus langeb.

Kuidas AI eeltestimine kõrvaldab suurima MVT kitsaskoha

Käed kasutamas tahvelarvutit reklaamide AI eeltestimiseks

Tootmine on põhjus, miks enamik tiime testib liiga vähe. Ühe maatriksi kuue kuni kaheksa viimistletud variandi käsitsi loomine ja selle kordamine järgmises põlvkonnas neelab nädalaid, mida enamikul tulemusturunduse tiimidel pole.

Sünteetilised persoonad muudavad seda arvestust, andes reklaami kohta suunava hinnangu enne päris sihtrühmani jõudmist. Selle asemel et arvata, milline konks või pilt väärib tasulist kohta, lood ja sõelud ette rohkem variante ning saadad pärismaatriksisse ainult tugevaimad kandidaadid.

  • Loob mitu reklaamivarianti pildi-, video- ja tekstivormingus ilma tootmisjärjekorrata
  • Testib reklaame sünteetiliste ostjapersoonadega enne kulutamist, tuues tõenäolised võitjad varakult välja
  • Annab kvalitatiivset tagasisidet selle kohta, miks variant kõnetab, mitte ainult kas see võidab
  • Lühendab ideest päristestini kuluvat aega nädalatelt päevadele

Just kiiruse ja käivitamiseelse signaali koosmõju võimaldab tiimidel sagedamini väiksemaid ja täpsemaid maatrikseid kasutada, selle asemel et teha kord kvartalis üks suur aeglane test. Kui tahad seda oma reklaamidel näha, on POPJAMi tasuta reklaamitestimise tööriist mõistlik alguspunkt.

Mis väljaspool raamistikku tegelikult loeb

Enamik mitme muutujaga testimise nõuandeid käsitleb seda matemaatikaülesandena: vali katseplaan, saavuta valimi suurus ja loe p-väärtust. Matemaatika on päris, kuid enamik teste ei ebaõnnestu seal. Need ebaõnnestuvad tootmises ammu enne, kui andmed saavad üldse puhtaks või segaseks kujuneda.

Tavalised juhendid jätavad välja ebamugava osa: tehniliselt täiuslik osafaktoriaalne katseplaan on kasutu, kui jõuad kaheksast kavandatud variandist valmis teha ainult neli. Tiimid ei loobu mitme muutujaga testimisest statistika raskuse tõttu. Nad loobuvad, sest statistika jaoks vajalike reklaamimaterjalide loomine on raske, aeglane ja jääb tavaliselt sellele, kellel on kõige vähem vaba aega.

Seetõttu soovitaksin igal tulemusturundajal lahendada tootmise kitsaskoha enne Taguchi katseplaanide või usaldusvahemike pärast muretsemist. Tee väiksem maatriks, mille saad õigeks ajaks valmis, mitte suurem, mis viienda variandi juures seisma jääb. Päris reklaamikontol võidab iteratsioonikiirus peaaegu alati teoreetilist elegantsi, sest lõpule viidud keskpärane test õpetab rohkem kui täiuslik test, mida sa kunagi ei käivita.

Doruk

Testi reklaami enne sellele kulutamist

Iga juhendis kirjeldatud võte eeldab, et suudad pärismaatriksi jaoks piisavalt variante toota. Tavaliselt on see kõige raskem osa, mitte statistika. POPJAM.IO täidab selle lünga, luues brändile sobivaid reklaame ja testides neid sünteetiliste ostjapersoonadega enne esimese dollari jõudmist päriskampaaniasse. Nii alustad mitme muutujaga testi eelsõelutud variantide, mitte oletuste virnaga.

POPJAM

Selle asemel et ehitada kaheksa varianti ja loota, et pooled neist väärivad kulu, saad psühhograafilist tagasisidet selle kohta, millised konksud, pildid ja tegevuskutsed tõenäoliselt sinu tegelikke sihtsegmente kõnetavad. Seejärel saadad pärismaatriksisse ainult tugevaimad kandidaadid. Nii on testid väiksemad ja täpsemad ning jõuavad konversioonilävenditeni kiiremini, selle asemel et kulutada eelarvet kombinatsioonidele, mille põhjal keegi niikuinii ei ostaks.

Kui plaanid järgmise kampaania maatriksit, alusta AI reklaamigeneraatorist, et luua ja eeltestida variandid enne käivitamist.

Peamised järeldused

Mitme muutujaga reklaamitestimine toimib kõige paremini siis, kui liiklust on piisavalt ja eesmärk on mõista loovelementide koosmõju, mitte üksnes seda, milline üksik muudatus võidab.

Põhimõte Üksikasjad
Kontrolli enne alustamist liiklust Veendu, et iga kavandatud variant võiks testiperioodi jooksul realistlikult jõuda usaldusväärseks analüüsiks vajaliku minimaalse konversioonilävendini.
Kasuta põhimõõdikuna CPA-d või ROAS-i Käsitle CTR-i ja kaasatusmäära kontrollmõõdikutena, mitte otsustava tegurina.
Rakenda 20% CPA erinevuse reeglit Vali praktiline võitja kiiremini, kui juhtiv variant edestab ülejäänuid CPA järgi ligikaudu 20%.
Vii võitjad laiemasse kasutusse kolme sammuga Koonda eelarve, lisa võitja püsireklaamide hulka ning alusta järgmist maatriksit selle kui kontrollvariandiga.
Eeltesti reklaame enne käivitamist POPJAM.IO loob ja sõelub reklaamivariante sünteetiliste persoonadega, et vähendada tootmisaega ning parandada maatriksi kvaliteeti enne kulutamist.

Allikad

Korduma kippuvad küsimused

Mis on mitme muutujaga testimine?

Üldise määratluse järgi hindab mitme muutujaga testimine korraga mitut reklaami- või leheelementi, et leida kõige paremini toimiv kombinatsioon. Sisuliselt tehakse korraga palju A/B-teste.

Kas Netflix kasutab A/B-testimist?

Suure liiklusega voogedastus- ja tehnoloogiaplatvormid on tuntud ulatuslike A/B- ja mitme muutujaga katsete poolest kujunduste, pisipiltide ning soovituste puhul. Selle juhendi allikad ei kirjelda siiski üksikasjalikult konkreetseid ettevõttesiseseid testimisprogramme.

Kas ANOVA on mitme muutujaga test?

ANOVA ehk dispersioonanalüüs on statistiline meetod, mida kasutatakse sageli mitme muutujaga testi tulemuste analüüsimisel, sest see aitab mõõta, kas eri rühmakombinatsioonide erinevused on sisulised või juhuslikud.

Milline on mitme muutujaga statistika näide reklaamis?

Tavaline näide on kahe pealkirja, kahe pildi ja kahe tegevuskutse testimine kaheksa kombinatsioonina. Seejärel analüüsitakse, milline konkreetne kooslus, mitte üksnes üksik element, andis parima CPA.

Kuidas erineb mitme muutujaga reklaamitest tavalisest A/B-testist?

A/B-test muudab korraga üht muutujat, et saada kiire ja selge tulemus. Mitme muutujaga reklaamitest muudab korraga mitut muutujat, et näidata nende koosmõju. See nõuab rohkem liiklust ja pikemat testiaega.