Loovlahenduste testimise raamistik tulemusturundajale

Reklaamloovlahenduste testimise raamistik on korratav süsteem, mis leiab võitvad reklaamid, kinnitab mõõdetava tulemuste paranemise ja laiendab tõestatud ideede kasutust, vähendades raisatud reklaamikulu. Ettevõtete sõnul võib loovlahendus anda kuni 70% tasulise sotsiaalmeedia tulemustest, kui testimine toimub süsteemselt. Seega pole distsiplineeritud raamistiku ning lihtsalt avaldamise ja hea õnne peale lootmise vahe väike. See määrab kogu tulemuse.

Alustamiseks saad järgmise 24 tunni jooksul teha järgmist.

Lünkade audit: võta välja viimase 90 päeva reklaamiandmed ja leia loovlahendused, mida pole kontrollvariandiga korralikult võrreldud.
Kirjuta üks hüpotees: kasuta vormi „Kui muudame X-i Y-ks, paraneb mõõdik Z N võrra, sest…” ning kinnita hüpotees enne reklaamiplatvormil tegutsemist.
Vali meetod: otsusta liiklusmahu ja eesmärgi põhjal, kas vajad A/B-testi, lisamõju uuringut või käivitamiseelset simulatsiooni.
Määra valimi alampiir: kogu enne tulemuste tõlgendamist iga variandi kohta vähemalt 200 konversioonisündmust. Väikese liiklusmahu korral kasuta kaasatuse mõõdikuid.
Fikseeri lõppkuupäev ette: pane testi lõpetamise kuupäev paika enne käivitamist. Tulemuste liiga varajane vaatamine on kiireim tee eksliku võitjani.

Peamised järeldused

Range loovlahenduste testimise raamistiku kasu koguneb ajaga: iga kinnitatud teadmine muudab järgmise lähteülesande täpsemaks, vähendab tarbetuid tootmiskulusid ja loob korduskasutatava teadmiste vara, mis annab rohkem kui üksik võitnud reklaam.

Põhimõte	Selgitus
Alusta lünkade auditist	Vaata enne uute tööde tellimist üle viimase 90 päeva reklaamiandmed, et leida testimata hüpoteesid ja nõrga tulemusega formaadid.
Kirjuta põhjuslikud hüpoteesid	Kasuta vormi „Kui X, siis Z muutub N võrra, sest…”, et määrata ette, mida testid ja milline tulemus annab selge vastuse.
Vali liiklusmahule sobiv meetod	Ühe muutuja jaoks kasuta A/B-testi, põhjusliku tõendi jaoks kontrollrühmaga testi ning väikese konversioonimahu korral eelvaliku tegemiseks kaasatuse mõõdikuid.
Kogu iga variandi kohta vähemalt 200 sündmust	Enne tulemuste tõlgendamist iga variandi kohta 200 konversioonisündmuse kogumine aitab vältida ennatlikke järeldusi ja ekslikke võitjaid.
Kasuta käivitamiseelseks eelvalikuks POPJAM-i	POPJAM-i sünteetiliste persoonade simulatsioon järjestab ideed prognoositud tulemuse põhjal enne päris reklaamikulu, vähendades tarbetut tootmist ja kiirendades võitjate leidmist.

Sisukord

Mis on loovlahenduste testimise raamistik ja millal seda kasutada?
Millest koosneb korratav loovlahenduste testimise raamistik?
Kuidas seada eesmärke, siduda tulemusnäitajaid ja kirjutada testitavaid hüpoteese?
Milliseid loovlahenduse osi testida ja millises järjekorras?
Milline testimismeetod sinu kampaaniale sobib?
Kuidas seadistada ja läbi viia usaldusväärsete tulemustega test?
Kuidas analüüsida tulemusi ja teha olulisuse põhjal otsus?
Kuidas muuta testidest saadud teadmised püsivalt headeks reklaamitulemusteks?
Kuidas muudab privaatsus loovlahenduste testide mõõtmist?
Kuidas sobitub tehisintellekti simulatsioon testimise töövoogu?
Miks annab testimisest lähtuv loomekultuur tegeliku konkurentsieelise?
POPJAM muudab loovlahenduste testimise kiiremaks ja täpsemaks
Allikad
Korduma kippuvad küsimused

Mis on loovlahenduste testimise raamistik ja millal seda kasutada?

Loovlahenduste testimine on andmepõhine protsess reklaamide tulemuslikkuse prognoosimiseks ja korratavate teadmiste saamiseks. Eesmärk pole leida võitja vaid korra. Eesmärk on luua süsteem, mis leiab võitjaid pidevalt, dokumenteerib nende toimimise põhjused ja viib saadud teadmised tagasi tulevastesse lähteülesannetesse.

Ametlik raamistik on mõistlik siis, kui test on seotud tegeliku ärieesmärgiga, eelarve on statistilise võimsuse saavutamiseks piisav ja valitud tulemusnäitajat saab omistamisakna jooksul mõõta. Iga kampaania ei vaja täielikku eksperimendikava. Ent kui kulutad tasulisele sotsiaalmeediale või otsingureklaamile märkimisväärselt ega tee struktureeritud teste, jätad kasutamata teadmised, mille väärtus aja jooksul kasvaks.

Millal tasub tervikliku raamistiku seadistamine ära?

Müügilehtri ülaosa tuntusekampaaniates, kus peamised signaalid on tähelepanu haaramise määr ja vaatamisjärgne lisamõju
Müügilehtri keskosa kaasatuse testides, kus klikkimise määr ja sihtlehel kerimise sügavus näitavad, mis kõnetab
Konversioonidele suunatud kampaaniates, kus peamine mõõdik on CPA, ROAS või vormi täitmise määr
Igas kampaanias, kus kahtlustad reklaamiväsimust ja vajad enne kulutamise lõpetamist põhjuslikku tõendit

Otsustamise kontrollnimekiri enne testi käivitamist:

Kas liiklust on piisavalt, et koguda mõistliku ajaga iga variandi kohta vähemalt 200 konversioonisündmust?
Kas ärieesmärk on selgelt seotud mõõdetava testi tulemusnäitajaga?
Kas eelarve on eraldatud nii, et platvormi algoritm ei saaks seda testi ajal ümber jaotada?
Kas oled ette määranud minimaalse tuvastatava mõju (MDE) ja usaldusnivoo?

Kui kõik neli tingimust on täidetud, käivita test. Kui pole, tee esmalt odavamate kaasatuse mõõdikute põhjal loovlahenduste eelvalik ning testi finalistide konversioone.

Millest koosneb korratav loovlahenduste testimise raamistik?

Mõtle raamistikust kui tootmisliinist, mitte ühekordsest projektist. Igal osal on vastutaja, väljund ja üleandmise koht. Ilma sellise struktuurita tekitavad testid kasuliku signaali asemel müra.

Kaheksa põhiosa:

Lünkade analüüs: auditeeri olemasolevaid loovlahendusi ja tulemusandmeid, et leida testimata hüpoteesid ning nõrgalt toimivad formaadid.
Eesmärgi ja tulemusnäitaja määramine: seo iga ärieesmärk konkreetse mõõdetava testinäitajaga.
Hüpoteeside kogu: pidevalt uuenev põhjuslike hüpoteeside dokument, kus ideed on järjestatud oodatava tulemuste paranemise ja tootmiskulu järgi.
Variantide tootmisprotsess: töövoog loovvariantide lähteülesannete koostamiseks, tootmiseks ja kvaliteedikontrolliks enne testi.
Testimismetoodika valik: otsustusloogika A/B-testi, mitme muutujaga testi, lisamõju või kontrollrühmaga testi ja kohanduva bandiitalgoritmi vahel valimiseks.
Mõõtmine ja juhtpaneelid: ette valmistatud aruandevaated, mis näitavad statistilist olulisust, segmendierinevusi ja mõju praktilist suurust.
Õpitulemuste kogu: testitulemuste, võitvate mustrite ja ümber lükatud hüpoteeside struktureeritud arhiiv, mis suunab tulevasi lähteülesandeid.
Juhtimine ja töörütm: iganädalased või üle nädala toimuvad ülevaatused, nimetamisreeglid, versioonihaldus ja probleemide eskaleerimise kord.

Rollid ja vastutus:

Osa	Vastutaja	Peamine väljund
Hüpoteeside kogu	Loovstrateeg	Testitavate ideede prioriseeritud nimekiri
Sihtrühma määratlus	Meediaplaneerija	Sihtrühma kirjeldus koos varasema reklaamikokkupuute kontrolliga
Statistiline kontroll	Analüütikajuht	Ette registreeritud MDE, statistiline võimsus ja olulisuslävi
Testi dokumentatsioon	Tulemusturundaja	Tulemuste struktureeritud kirjeldus õpitulemuste kogus

Töökorralduslikud kontrollid on sama tähtsad kui raamistiku osad. Iga test vajab kordumatut nimetust kindla reegli järgi (kampaania, variant, kuupäev, hüpoteesi ID), versioonihalduse reeglit, et vana loovlahendus ei satuks kogemata uuega võrdlusse, ning eelarvepiirangut, mis ei lase platvormil raha enne vajaliku valimi täitumist ümber jagada.

Kuidas seada eesmärke, siduda tulemusnäitajaid ja kirjutada testitavaid hüpoteese?

Testide ebaselgete tulemuste levinuim põhjus pole statistikas. See on hüpoteesis. Ebamäärased eesmärgid annavad ebamäärased tulemused. Lahendus on sõnastada hüpoteesid põhjuslike seostena enne reklaamiplatvormil tegutsemist.

Äriliste tulemusnäitajate sidumine testi mõõdikutega:

Müügitulu eesmärk → reklaamikomplekti ROAS või CPA
Müügivihjete eesmärk → vormi täitmise määr või müügivihje hind
Tuntuse eesmärk → katvus, sagedusega korrigeeritud tähelepanu haaramise määr või brändimõju uuringu tulemus
Kaasatuse eesmärk → kerimise peatamise määr, videovaatamiste määr või klikkimise määr

Hüpoteesi mall:

Selline täpsus teeb kolme asja. See ütleb loovtiimile täpselt, mida toota. See ütleb analüütikutele täpselt, mida mõõta. Ja see näitab kõigile juba enne esimese dollari kulutamist, milline tulemus annab selge vastuse.

Ette registreeritavad vastuvõtukriteeriumid:

Usaldusnivoo: 95% (või 90% väiksema kaaluga varajastes ideetestides).
Minimaalne tuvastatav mõju: määra see tulemuste paranemise järgi, mis muudaks päriselt eelarveotsust.
Valimi suurus: konversioonitestides planeeri iga variandi kohta vähemalt 200 konversioonisündmust; müügilehtri ülaosa mõõdikute puhul kasuta näitamiste piirmäärasid.
Lõppkuupäev: ette fikseeritud. Testi ei lõpetata varem.
Otsustusreegel: määratle enne testi tulemused „kinnita ja laienda”, „täienda” või „lõpeta”.

Milliseid loovlahenduse osi testida ja millises järjekorras?

Järjekord on tähtsam, kui enamik tiime arvab. Nupuvärvide testimine enne põhiidee kinnitamist on nagu fondi täiustamine reklaamtahvlil, mida keegi ei loe. Alusta ideede testimisest, seejärel testi tähelepanu püüdvat algust ja viimaks lihvi väiksemaid variante. Iga tase vastab eelmisest kitsamale strateegilisele küsimusele.

Mida igal tasemel testida?

Idee tasand: põhisõnum, väärtuspakkumise vaatenurk, emotsionaalne või ratsionaalne käsitlus, probleemist või tootest lähtuv ülesehitus
Alguse tasand: avakaader (video esimesed 3 sekundit või staatilise reklaami pealkiri), visuaalne teostus, jutustaja või ekraanitekst, kasutaja loodud või professionaalselt toodetud sisu
Variandi tasand: tegevuskutse tekst, värvipalett, formaadi kohandus (ruut, püst- või rõhtformaat), teksti pikkus

Mitu varianti ühes voorus?

Testi ühes ideede voorus kahte kuni nelja ideed. Rohkem kui neli jagab eelarve liiga paljude rühmade vahel ja pikendab statistilise olulisuse saavutamise aega. Kui idee on võitnud, testi selle juures kahte kuni kolme algusvarianti. Väiksemate muudatuste testimine võimaldab rohkem valikuid, sest tootmiskulu on madalam ja signaal ilmneb kiiremini.

Prioriseerimise rusikareegel:

Hinda enne järjekorda lisamist iga hüpoteesi neljas mõõtmes.

Oodatav tulemuste paranemine (varasemate teadmiste põhjal suur, keskmine või väike)
Tootmise keerukus (variandi valmistamiseks kuluvad tunnid)
Õppimisväärtus (kas tulemus õpetab midagi korduskasutatavat?)
Sihtrühma katvus (kas liiklust jätkub statistilise olulisuse saavutamiseks?)

Eelista suure oodatava mõju ja õppimisväärtusega hüpoteese ka siis, kui tootmise keerukus on keskmine. Väikese mõju ja õppimisväärtusega testid peaksid jääma järjekorra lõppu olenemata sellest, kui lihtne neid toota on.

Loovlahenduse kvaliteedikontroll enne käivitamist:

Igale paigutusele sobivad kuvasuhted ja failiparameetrid
Puuduvad reegleid rikkuvad väited ja piiratud kasutusega pildid
Järjepidevad UTM-parameetrid ja jälgimispikslid
Sihtlehe URL vastab testitingimusele
Loovlahendus pole juba aktiivses kasutuses (sihtrühm võib seda liiga palju näinud olla)

Praktiline nõuanne: Hoia loovlahenduse kvaliteedikontroll ühises dokumendis, mille kinnitavad enne iga variandi avaldamist nii loovtiim kui ka meediaostja. Üks puuduv UTM-parameeter võib rikkuda kogu testi omistamisandmed.

Milline testimismeetod sinu kampaaniale sobib?

Õige meetod sõltub liiklusmahust, eesmärgist ja sellest, kui kindlat põhjuslikku tõendit otsustajad vajavad. Neli peamist meetodit erinevad järgmiselt.

Meetod	Sobib kõige paremini	Vajalik liiklusmaht	Põhjusliku seose selgus	Kiirus
A/B-test	Ühe muutuja eraldamiseks	Mõõdukas	Suur (üks muutuja)	Keskmine
Mitme muutujaga test	Mitme muutuja samaaegseks testimiseks	Suur	Keskmine (koosmõjud)	Aeglane
Kontrollrühma / lisamõju test	Absoluutse mõju tõestamiseks võrreldes tegevusetusega	Mis tahes (5% jäetakse kõrvale)	Väga suur	Aeglane
Kohanduv bandiitalgoritm	Kiireks optimeerimiseks, mitte põhjuslikeks järeldusteks	Mis tahes	Väike	Kiire

A/B-testimine on enamiku loovlahenduste testide põhitööriist. Muuda üht elementi, hoia kõik muu samana ja lase andmetel otsustada. See on selge, tõlgendatav ja toimib mõõduka liiklusmahu juures.

Mitme muutujaga testimine vastab küsimusele „Milline elementide kombinatsioon toimib kõige paremini?”, kuid vajab statistilise olulisuse saavutamiseks kõigis rühmades märksa rohkem liiklust. Enamikul tasulise sotsiaalmeedia kampaaniatel pole ehtsa mitme muutujaga testi korrektseks läbiviimiseks piisavat mahtu.

See meetod mõõdab absoluutset lisamõju võrreldes tegevusetusega, mis ongi tõend, mida finantstiimid ja turundusjuhid tegelikult vajavad. Kasuta seda siis, kui pead näitama, et loovlahenduste programm annab päris äritulemusi, mitte ei võida üksnes sisemisi võrdlusi.

Kohanduvad bandiitalgoritmid suunavad reaalajas rohkem eelarvet paremini toimivatele variantidele. Need on kiired, kuid algoritmiline ümberjaotamine kallutab järeldusi. Kasuta neid optimeerimiseks, mitte õppimiseks. Kui vajad selget põhjuslikku vastust, ei anna bandiitalgoritmiga test seda.

Praktiline otsustuskäik:

Väike liiklusmaht ja müügilehtri ülaosa eesmärk: tee A/B-test kaasatuse mõõdikutega ning vii võitja seejärel konversioonitesti.
Suur liiklusmaht ja mitu muutujat: kasuta mitme muutujaga testi, kui maht lubab; muidu tee järjestikused A/B-testid.
Otsustaja vajab põhjuslikku tõendit: tee test 5% kontrollrühmaga.
Vaja on kiiret optimeerimist ilma põhjuslike järeldusteta: kasuta bandiitalgoritmi, kuid dokumenteeri see piirang.

Kuidas seadistada ja läbi viia usaldusväärsete tulemustega test?

Enamik teste ebaõnnestub seadistuses, mitte analüüsis. Platvorm juba töötab, kuigi tiim pole kokku leppinud, mida „võit” tähendab; eelarve on jaotatud ebaühtlaselt ning keegi vaatab tulemusi kolmandal päeval. Järgmine tegevuskava aitab seda vältida.

Kontrollnimekiri enne käivitamist:

Kirjuta ja kinnita hüpotees ning vastuvõtukriteeriumid enne platvormil tegutsemist.
Määra variantidele võrdne kulu reklaamikomplekti eelarve optimeerimisega (ABO), mitte kampaania eelarve optimeerimisega (CBO). Platvormide algoritmid jaotavad raha varakult paremini toimivatele variantidele, kallutades testi enne statistilise olulisuse saavutamist.
Kontrolli, et kõigil variantidel oleks sama sihtleht, konversioonisündmus ja piksli seadistus.
Määra fikseeritud lõppkuupäev või valimi suuruse piir, lähtudes sellest, kumb saabub varem.
Väldi ristkokkupuudet: kasuta eraldi reklaamikomplekte või platvormi eksperimenditööriistu, et sama kasutaja ei näeks mitut varianti.
Kontrolli sihtrühma varasemat reklaamikokkupuudet. Ära testi rühmal, kes on kontrollreklaami juba liiga palju näinud.

Testiplaani näidisstruktuur:

Hüpotees: kui alustame tooteomaduse asemel sotsiaalse tõestusega, langeb müügivihje hind (CPL) 20%, sest potentsiaalsed kliendid usaldavad teiste inimeste kinnitust rohkem kui brändi väiteid.
Variandid: kontrollvariant (tooteomadusele toetuv algus) ja testvariant (sotsiaalsele tõestusele toetuv algus).
Eelarve variandi kohta: võrdne päevakulu, eraldatud reklaamikomplekti tasandil.
Sihtrühm: külm sarnane sihtrühm, 1% sarnasus, ilma kattuvuseta uuesti sihtimise rühmadega.
Kestus: 14 päeva või 200 konversioonisündmust variandi kohta, olenevalt sellest, kumb saabub varem.
Edukriteeriumid: 95% usaldusnivoo ja CPL-i 20% minimaalne tuvastatav muutus.

Levinud vead, mis muudavad tulemused kehtetuks:

Tulemuste vaatamine enne ette määratud valimi täitumist ja testi varajane lõpetamine, kui üks variant näib juhtivat
Pakkumiste, sihtrühmade või reklaamteksti muutmine testi kestel
Testi tegemine ebatavalisel ajal (suur allahindlus, platvormi tõrge, hooajaline hüpe)
CBO-l või algoritmilisel näitamisel eelarve variantide vahel ümber jaotada laskmine

Tiimidele, kes ehitavad skaleeritavaid digiturundussüsteeme, on testide juhtimiskord vundament. Ilma selleta jääb iga test ühekordseks katseks, mitte ajas kasvava väärtusega varaks.

Kuidas analüüsida tulemusi ja teha olulisuse põhjal otsus?

Statistiline olulisus ütleb, et tulemus on tõenäoliselt päris. Praktiline olulisus ütleb, kas selle põhjal tasub tegutseda. Vaja on mõlemat.

Käsi uurimas laual statistilisi graafikuid

Statistiline kontrollnimekiri enne võitja väljakuulutamist:

Kontroll	Mida kontrollida?
Ette registreeritud MDE	Kas täheldatud mõju saavutas või ületas enne käivitamist seatud MDE?
Usaldusnivoo	Kas tulemus saavutab vähemalt 95% taseme või sinu ette määratud lävendi?
Valimi suurus	Kas iga variant saavutas minimaalse sündmuste arvu?
Mitu võrdlust	Kui testisid rohkem kui kahte varianti, kas arvestasid mitmese võrdlemisega?
Varajast lõpetamist pole	Kas testil lasti kesta ette määratud lõppkuupäevani?

Võitja needus on päris nähtus. Esimestes testides täheldatud paranemine hindab tegelikku mõju peaaegu alati üle. Võitja kasutuse laiendamisel arvesta mõju vähenemisega. Täismahus kasutuseks planeeri ligikaudu pool täheldatud mõjust ja teed paremaid eelarveotsuseid.

Segmentide kontroll enne laiemat kasutuselevõttu:

Jaga tulemused seadme järgi (mobiil ja lauaarvuti), et leida paigutusspetsiifilisi mõjusid.
Jaga tulemused sihtrühmasegmentideks, et näha, kas võitja toimib eri demograafilistes rühmades.
Vaata paigutuste andmeid (uudisvoog, Stories, Reels), enne kui eeldad tulemuse üldistatavust.

Õige samm on laiendada esmalt mobiilipaigutuse kasutust, jälgida kulu kasvades CPA-d ja teha lauaarvutile eraldi test, mitte eeldada, et tulemus kehtib kõikjal.

Kuidas muuta testidest saadud teadmised püsivalt headeks reklaamitulemusteks?

Testi võitmine on esimene samm. Tegelik töö on võitu säilitada ja selle peale edasi ehitada. Reklaamiväsimus sööb eelarvet märkamatult ning enamik tiime näeb seda alles siis, kui sagedus on ROAS-i juba alla surunud.

Võitja kasutuse laiendamise reeglid:

Suurenda eelarvet etappide kaupa: kahekordista kulu testijärgsel esimesel nädalal, seejärel hinda enne järgmist kahekordistamist CPA-d ja ROAS-i uuesti.
Jälgi sagedust tähelepanelikult. Kui see tõuseb külmas sihtrühmas üle 3–4, algab tõenäoliselt väsimus.
Määra CPA või ROAS-i lävend, mille juures vaadatakse üle loovlahenduse uuendamise vajadus. Ära oota tulemuste järsku kukkumist.

Loovlahenduste jaotus 60/30/10:

Suurettevõtete tiimid kasutavad 60/30/10 mudelit, et tasakaalustada olemasoleva täiustamist ja uute võimaluste uurimist tootmisressursse kurnamata.

60% loovlahenduste eelarvest läheb tõestatud võitjate edasiarendusse (uus tekst, uus pealelugemine, hooajaline kohandus).
30% läheb võitjate kohandamiseks uutesse formaatidesse (võitnud video muutmine staatiliseks karusselliks, kohandamine uuele paigutusele).
10% läheb täiesti uute ideede testimisele, millest võivad saada järgmise põlvkonna võitjad.

Tegevuskava rütm:

Igal nädalal: vaata üle aktiivsete loovlahenduste sagedus ja tulemussignaalid. Märgi üles kõik, mis läheneb väsimuslävendile.
Üle nädala: vaata üle hüpoteeside järjekord ja koosta järgmise variantide vooru lähteülesanded.
Igal kuul: tee õpitulemuste põhjalik ülevaatus. Leia võitvad mustrid, uuenda teadmiste kogu ja selgita loovtiimile, mis andmete järgi toimib.
Igas kvartalis: läbi uuri-kinnita-laienda tsükkel. Kasuta 10% eelarvet uute ideede testimiseks, kinnita tugevaimad korraliku A/B-testiga ja vii võitjad 60% eelarveossa.

Kuidas muudab privaatsus loovlahenduste testide mõõtmist?

Lühike vastus: selge omistamine muutub raskemaks ja põhjuslik tõend väärtuslikumaks, mitte vähem tähtsaks. SKAdNetwork (SKAN) piirab omistamisaknaid, vähendab konversiooniandmete detailsust ja lisab aruandlusviivitusi, mis muudavad iOS-i liikluse reaalajas optimeerimise ebausaldusväärseks. IDFA kasutuse piiramine mõjutab sarnaselt ka mõõtmist sihtrühma tasandil.

Nende piirangute korral soovitatakse rohkem toetuda lisamõju testimisele, modelleerimisele ja koondmõõdikutele, mitte põhjuslike otsuste tegemisel viimase kliki omistamisele. Mõned praktilised alternatiivid:

Koondatud sündmuste mõõtmine (AEM): kasuta optimeerimiseks platvormi koondsignaale, kuid ära käsitle neid põhjuslike järelduste tegemisel absoluutse tõena.
Tõenäosuslik modelleerimine: platvormiandmeid, esimese osapoole signaale ja modelleeritud konversioone ühendavad omistamismudelid annavad terviklikuma pildi kui üksik allikas.
Lisamõju uuringud: kui pead tõestama, et loovlahendus andis päris äritulemusi, on 5% kontrollrühmaga test paremini põhjendatav kui ükskõik milline omistamismudel.
Privaatsust säilitav kontroll sünteetiliste persoonadega: käivitamiseelne simulatsioon sünteetiliste psühhograafiliste persoonadega aitab nõrgad ideed välja sõeluda enne esimese dollari kulutamist päris liiklusele. See on eriti kasulik ebausaldusväärse iOS-i omistamise korral.

Praktiline järeldus testi kavandamisel: tee kaasatuse mõõdikutega A/B-testid (tähelepanu haaramise määr, CTR, videovaatamiste määr), et loovlahenduste eelvalik kiiresti valmis saada. Seejärel kinnita mõju konversioonidele lisamõju uuringute või modelleerimisega. Ära oota väikese eelarvega iOS-i konversioonide A/B-testidelt selgeid tulemusi.

Kuidas sobitub tehisintellekti simulatsioon testimise töövoogu?

Käivitamiseelne simulatsioon ei asenda päris reklaamiteste. See vähendab vajalike päris testide arvu, sõeludes nõrgad ideed välja enne, kui need meediaeelarvet kulutavad.

Käed sorteerimas ideekaarte testimiseks

Praktikas käib see nii. Kujuta ette tulemusturunduse tiimi, kes valmistub SaaS-toote turuletoomiseks testima nelja uut videoideed. Ühe idee tootmine maksab ligikaudu 3000 dollarit. Kõigi nelja testimine päris A/B-testis nõuab piisavat eelarvet statistilise olulisuse saavutamiseks neljas rühmas, mis võib võtta kolm kuni neli nädalat ja märkimisväärse summa. Käivitamiseelses simulatsioonis testib tiim kõiki nelja ideed sünteetiliste psühhograafiliste persoonadega, mis peegeldavad nende sihtrühma. Kaks ideed saavad prognoositud tähelepanu haaramise määra ja sõnumi selguse poolest märksa madalama tulemuse. Tiim toodab ainult kaks parimat, teeb puhta A/B-testi ning jõuab statistilise olulisuseni kiiremini ja poole väiksema tootmiskuluga.

See on simulatsiooni varajase kaasamise väärtus. See ei asenda statistilist rangust. See on prioriseerimisfilter, mis muudab päris reklaamitestid tõhusamaks.

Kontrollnimekiri simulatsiooni lisamiseks raamistikku:

Ideede kontrollimise etapp: testi kõiki kandidaate simulatsioonis enne tootmise lähteülesande koostamist. Järjesta ideed simulatsiooniskooride abil prognoositud tähelepanu haaramise määra ja sihtrühma kõnetamise järgi.
Alguse testimise etapp: leia simulatsiooni tulemustest, millised avakaadrid saavad igas psühhograafilises segmendis parimad hinded, enne kui otsustad tootmise kasuks.
Variantide prioriseerimine: kui hüpoteeside järjekorras on rohkem ideid, kui eelarve testida võimaldab, otsusta simulatsiooniskooride abil, millised saavad päris testieelarve esimesena.
Lähteülesande kooskõla: vii simulatsiooni tulemused tagasi loovtöö lähteülesannetesse, et tootmistiim teaks, millised konkreetsed elemendid andsid kõrgeimad hinded.
Kalibreerimine päris testidega: jälgi aja jooksul simulatsiooniskooride ja päris testitulemuste seost. Hästi kalibreeritud simulatsioonimudelist saab kiirem ja odavam esimene filter.

POPJAM-i loovtöö automatiseerimise platvorm kasutab tehisintellekti, et simuleerida sihtrühma reaktsioone tegelikel psühhograafilistel profiilidel põhinevate sünteetiliste persoonadega. Tiim saab kvalitatiivset ja kvantitatiivset tagasisidet enne esimese dollari kulutamist päris reklaamile. Reklaame enne käivitamist testivatele tiimidele on selline simulatsioon eriti kasulik siis, kui liiklust on statistiliselt usaldusväärsete konversioonitestide kiireks tegemiseks liiga vähe.

Praktiline nõuanne: Kasuta simulatsiooniskoore otsustamiseks, kui kahel järjekorras oleval hüpoteesil on sarnane oodatav mõju. Päris testieelarve saab esimesena kõrgema simulatsiooniskooriga idee. Nii liigub testijärjekord edasi ilma, et iga kord oleks vaja komisjoni otsust.

Miks annab testimisest lähtuv loomekultuur tegeliku konkurentsieelise?

Minu aus hinnang: enamik tiime räägib loovlahenduste testimisest, kuid tegeleb sellega tagantjärele. Lähteülesanne läheb loovtiimile, reklaam avaldatakse ja keegi vaatab numbreid kaks nädalat hiljem. See pole raamistik. See on tagasivaade.

Järjepidevalt paremate tulemustega tiimidel pole tingimata suurimad tootmiseelarved. Neis on testimine juba lähteülesandesse sisse kirjutatud, mitte pärast käivitamist juurde lisatud. Kui hüpotees on enne tootmist kohustuslik, muutub tööviis. Loovjuhid hakkavad sisetunde asemel kaitsma oma põhjendusi. Meediaostjad lõpetavad pimesi optimeerimise ja hakkavad tulemusi kontekstis lugema. Õpitulemuste kogu ei ole enam vanade aruannete surnuaed, vaid muutub tõeliseks konkurentsieeliseks.

Kolm praktilist nõuannet selle kultuuri loomiseks:

Muuda hüpotees lähteülesandes kohustuslikuks. Ilma hüpoteesita tootmisluba ei anta. See üks juhtimisreegel vähendab raisatud raha rohkem kui ükskõik milline analüütikatööriist.
Eralda optimeerimine õppimisest. Bandiitalgoritmiga testid ja algoritmiline näitamine sobivad hästi tulemuste parandamiseks. Õppimiseks sobivad need halvasti. Hoia osa eelarvest puhaste A/B-testide jaoks, mille eesmärk on korduskasutatav teadmine, mitte üksnes lühiajaline ROAS-i tõus.
Tunnusta ka ümber lükatud hüpoteese. Hästi kavandatud test, mis hüpoteesi ümber lükkab, on väärtuslikum kui lohakas test, mis seda „kinnitab”. Ebaõnnestumisi karistavad tiimid teevad vähem teste. Rangust tunnustavad tiimid teevad paremaid teste.

Andmepõhine reklaamloome kogub ajaga väärtust. Iga test täiendab teadmiste kogu. Iga õppetund muudab järgmise lähteülesande täpsemaks. Kahe või kolme kvartali järjepideva testimise järel koostab su tiim lähteülesandeid loovlahendustele, mis alustavad võitjale lähemalt ja vajavad kinnituseks vähem päris testivoore.

POPJAM muudab loovlahenduste testimise kiiremaks ja täpsemaks

Kui oled siiani lugenud, tunned raamistikku. Enamiku tiimide kitsaskoht pole teadmistes, vaid teostuse kiiruses. Piisava hulga variantide tellimine, tootmine ja testimine, et õppimistsükkel ei peatuks, on käsitsi tehes tõesti raske.

POPJAM

POPJAM on loodud just selle töövoo jaoks. See genereerib brändiga kooskõlas reklaamloovlahendusi Metale, Google'ile, TikTokile, LinkedInile ja Redditile ning testib neid sünteetiliste ostjapersoonadega enne esimese dollari kulutamist päris reklaamile. Saad juba idee etapis psühhograafilist tagasisidet tähelepanu haaramise määra, sõnumi selguse ja sihtrühma kõnetamise kohta, nii et toodad ja testid ainult tõenäolisemaid võitjaid. Vähem tarbetut tootmist. Kiirem võitjate leidmine. Iseenesest täienev teadmiste kogu.

Tulemusturundajad, kasvutiimid ja agentuurid kasutavad POPJAM-i reklaamloovlahenduste eeltestimiseks ja võitja leidmiseks vajalike päris testide arvu vähendamiseks. Platvorm vastab GDPR-ile ning toetab pilte, videoid, animatsioone, sotsiaalmeediapostitusi ja e-kirju. Proovi POPJAM-i tehisintellekti reklaamigeneraatorit ja vaata, kuidas simulatsioon sinu olemasolevasse testimise töövoogu sobib.

Allikad

Tutvu selles juhendis käsitletud meetodite ja tööriistadega põhjalikumalt:

Korduma kippuvad küsimused

Mis on loovlahenduste testimise raamistik?

Loovlahenduste testimise raamistik on korratav süsteem reklaamieksperimentide kavandamiseks, läbiviimiseks ja tõlgendamiseks. See ühendab hüpoteeside kirjutamise, kontrollitud testikava, valimi suuruse planeerimise ja tulemuste struktureeritud tõlgendamise, et leida võitvaid loovlahendusi ning koguda ajas kasvava väärtusega teadmisi.

Kuidas loovlahenduse testi õigesti läbi viia?

Kirjuta enne tootmist põhjuslik hüpotees, määra ABO abil variantidele võrdsed eelarved, registreeri MDE ja lõppkuupäev ette ning oota enne tulemuste lugemist, kuni iga variant on kogunud vähemalt 200 konversioonisündmust. Väldi tulemuste varajast piilumist ja pakkumiste muutmist testi ajal.

Mis on Facebooki reklaamide 3-2-2 meetod?

3-2-2 meetod tähendab kolme sihtrühma, kahe reklaamiformaadi ja kahe loovlahenduse testimist ühes kampaanias, et leida tõhusalt kõige paremini toimiv kombinatsioon. See on praktiline lähenemine ideede varajaseks testimiseks piiratud eelarvega.

Millal kasutada A/B-testi asemel lisamõju testi?

Kasuta lisamõju või kontrollrühmaga testi siis, kui pead kahe loovlahenduse omavahelise võrdlemise asemel tõestama absoluutset ärilist mõju võrreldes tegevusetusega. Väike reklaamist kõrvale jäetud kontrollrühm mõõdab tegelikku lisamõju ning on eelistatud meetod, kui otsustajad vajavad põhjuslikku tõendit.

Kuidas sobitub tehisintellekti simulatsioon loovlahenduste testimise raamistikku?

Tehisintellekti simulatsioon, näiteks POPJAM-i sünteetiliste persoonadega testimine, toimib käivitamiseelse filtrina. See järjestab ideed prognoositud tähelepanu haaramise määra ja sihtrühma kõnetamise järgi enne päris reklaamikulu. Nii toodad ja A/B-testid ainult tõenäolisemaid võitjaid, vähendades nii tootmiskulu kui ka kinnitatud tulemuseni jõudmise aega.