POPJAM Logo
Tagasi blogisse

Geograafiline lisamõju test turundusanalüütikule: metoodikajuhend

Õpi rakendama geograafilist lisamõju testi, et mõõta tegelikku mõju turunduse tulemusnäitajatele ja saada täpseid tulemusi keeruka seadistuseta.

Doruk Gezici
Doruk Gezici
15 min lugemist
Geograafiline lisamõju test turundusanalüütikule: metoodikajuhend

Geograafiline lisamõju test on turutasandil tehtav inkrementaalsuse katse, kus reklaami näidatakse valitud piirkondades, teised jäetakse kontrollrühma ning mõõdetakse kahe rühma ärilise tulemusnäitaja põhjuslikku erinevust. Kasuta seda, kui usaldusväärsed kasutajapõhised signaalid puuduvad, kampaaniad toimuvad korraga mitmes kanalis või vajad otse tulu või konversioonidega seotud põhjusliku mõju hinnangut modelleeritud omistamisnäitaja asemel. Meta avatud lähtekoodiga tööriistakomplekti GeoLifti metoodika ühendab sünteetilise kontrolli meetodid sisseehitatud statistilise võimsuse kalkulaatoriga, et sellist katset saaks kavandada ka ökonomeetria doktorikraadita.

Põhipunktid

Geograafiline lisamõju test annab usutava põhjusliku mõju hinnangu ainult siis, kui võimsusanalüüs, turgude valik, sünteetilise kontrolli valideerimine ja puhtad andmed on enne kampaania käivitamist omavahel kooskõlas.

Punkt Üksikasjad
Tee kõigepealt võimsusanalüüs Kasuta GeoLifti võimsuskalkulaatorit, et viia MDE, turgude arv ja kestus kooskõlla enne katseplaani kinnitamist.
USA testides kasuta DMA piirkondi DMA piirkonnad tasakaalustavad detailsust ja stabiilsust ning on enamiku USA geograafiliste katsete soovitatav piirkonnaühik.
Valideeri sünteetiline kontroll Kontrolli L2 tasakaalutust, tee ajalisi platseeboteste ja jäta doonorturge kontrolliks ükshaaval välja enne käivitamist.
Teisenda lisamõju iROAS-iks Jaga lisanduv tulu katseturgude lisanduva kuluga, et anda sidusrühmadele otsustamiseks sobiv näitaja.
Valideeri reklaamloovlahendused enne testi Loovlahendustest tuleneva varieeruvuse vähendamine enne testi alandab tegelikku MDE-d ilma turge või päevi lisamata.

Sisukord

Mis on geograafiline lisamõju test ja millal seda kasutada?

Randomiseeritud kontrollkatsed ehk RCT-d on põhjuslike järelduste tegemise kuldstandard, kuid eeldavad kasutajapõhist juhuslikku jaotust. Küpsisteta ja privaatsust esikohale seadvas keskkonnas on see üha ebapraktilisem. Kui kasutajapõhine randomiseerimine ei ole võimalik, on eelistatud kvaasieksperimentaalne alternatiiv geograafiline lisamõju test.

Põhimõte on lihtne. Jaotad piirkonnad katse- ja kontrollrühma, käivitad kampaania katseturgudel ning lood sünteetilise kontrafaktuaalse võrdlusaluse, et hinnata katseturgude tulemust ilma kampaaniata. Vaadeldud ja kontrafaktuaalse tulemusnäitaja vahe on lisanduv mõju.

Eelised:

  • Hõlmab kanaliteülest mõju, sest tulemusnäitajat mõõdetakse turu, mitte reklaamiplatvormi tasandil
  • Toimib küpsiste ja kasutajatunnusteta
  • Annab põhjusliku mõju hinnangu, mis seostub tegeliku ärinäitajaga, näiteks tulu või tellimustega
  • Sobib igale kanalivalikule, sealhulgas korraga televisioonile, välireklaamile ja tasulisele sotsiaalmeediale

Puudused:

  • Geograafiline ülekandumine võib kontrollturge mõjutada, kui katse- ja kontrollpiirkonnad asuvad kõrvuti
  • Stabiilse sünteetilise kontrolli loomiseks on vaja piisavalt piirkondi, mis võib väiksemaid brände piirata
  • Mürarikkam kui kasutajapõhine RCT, sest turutasandil koondamine suurendab varieeruvust
  • Korralduslikult töömahukam kui platvormi enda lisamõju uuringud

Peamine statistiline erinevus lihtsast erinevuste erinevuse ehk DiD meetodist on kontrafaktuaalse võrdlusaluse loomine. DiD eeldab katse- ja kontrollrühma paralleelseid trende. GeoLifti kasutatavad sünteetilise kontrolli meetodid ehk SCM loovad doonorturgude kaalutud kombinatsiooni, mis jäljendab kõige paremini katseturu sekkumiseelset trendi. See kaalutud sünteetiline kontroll on usutavam võrdlusalus, kui paralleelseid trende ei saa eeldada.

Kuidas korraldada geograafiline lisamõju test algusest lõpuni?

Igal usaldusväärsel geograafilisel katsel on kolm etappi: ettevalmistus, aktiivne testiperiood ja järelanalüüs. Igas etapis tuleb kõigepealt teha üks vältimatu samm.

Geograafilise lisamõju testi kolme etapi skeem

Testi ettevalmistus

Kogu vähemalt 10–12 nädala igapäevased piirkondlikud tulemusnäitajad enne turgude valimist. Kontrolli puuduvaid päevi, müügikampaaniatest või välistest sündmustest tingitud erandlikke hüppeid ning ärimuutusi, näiteks kaupluste avamist või turustuse laiendamist, mis rikuksid eelperioodi võrreldavuse. Kui turud erinevad suuruselt märkimisväärselt, normaliseeri tulemusnäitaja elanike arvu või näitamiste järgi. Dokumenteeri kõik piirangud: tegevuslikel põhjustel välistatud turud, testiperioodiks plaanitud müügikampaaniad ja juba kavandatud kanalimuudatused.

Testiperiood

Kinnita ja dokumenteeri kirjalikult sekkumise jaotus enne kampaania käivitamist. Ära muuda testi ajal kulutaset, loovlahendusi ega sihtimist, kui nende muutmiseks pole eelnevalt määratud korda. Jälgi katse- ja kontrollturgude igapäevaseid tulemusnäitajaid, et avastada mõõtmiskatkestused või kontrollrühma saastumine varakult. Enamikule testidele piisab kontrollist iga kahe-kolme päeva järel; kõikuva näitaja korral tasub kontrollida iga päev.

Testijärgne analüüs

Oota enne lõplike arvude kogumist pärast kampaania lõppu järelmõju perioodi möödumist. Kui lõpetad analüüsi liiga vara, jääb hilinenud konversioonide tõttu osa lisamõjust arvestamata, eriti pikema ostutsükli korral. Tee SCM-i põhjal järeldused, arvuta keskmine sekkumismõju ning teisenda protsentuaalne lisamõju lisanduvaks tuluks ja iROAS-iks enne tulemuste sidusrühmadele esitamist. Dokumenteeri kogu kontrolljälg, sealhulgas testi käigus tekkinud kõrvalekalded, et katset saaks korrata või selle järeldusi kontrollida.

Kuidas teha geograafilise lisamõju testi võimsusanalüüsi?

Kõige olulisem reegel: tee võimsusanalüüs enne katseplaani kinnitamist. Selle vahelejätmine on kõige levinum põhjus, miks geograafilised testid ei anna selget tulemust: katse maht polnud tegelikult tekkinud lisamõju tuvastamiseks piisav. GeoLifti võimsuskalkulaator pakub kolme režiimi, millega kavandada korraga katseturud, testi kestus ja vajalik investeering.

Võimsusanalüüsiks kogu järgmised sisendid:

  1. Ajalooline tulemusnäitaja lähtetase piirkondade kaupa, soovitatavalt 10–12 nädala igapäevased andmed
  2. Eelperioodi dispersioon võimalike katseturgude lõikes
  3. Minimaalne tuvastatav mõju (MDE) protsentuaalse lisamõjuna, mida pead äriliselt oluliseks
  4. Soovitud usaldusnivoo ja statistiline võimsus, alustuseks tavaliselt vähemalt 90% usaldusnivoo ja 80% võimsus
  5. Võimalike piirkondade arv katse- ja kontrollrühma moodustamiseks
  6. Testi kestus päevades, kampaaniakalendri piirangute järgi
  7. Eeldatav iROAS või kulu lisanduva konversiooni kohta statistilise võimsuse teisendamiseks hinnanguliseks kuluks

MDE, piirkondade arv ja kestus mõjutavad üksteist järgmiselt. Katseturgude arvu suurendamine vähendab sekkumismõju hinnangu dispersiooni ja alandab seega sama kestuse juures MDE-d. Kestuse pikendamine annab mudelile rohkem eelperioodi signaali sünteetilise kontrolli sobitamiseks ning parandab samuti täpsust. MDE lävendi tõstmine ehk nõustumine, et olulised on ainult suuremad mõjud, võimaldab teha lühemaid teste väiksema arvu turgudega. GeoLifti samm-sammuline juhend näitab seda 40 USA linna simuleeritud andmetega ning illustreerib võimsuse muutumist iga parameetri kohandamisel.

Praktiline nõuanne: Kui eelarve piirab katseturgude arvu, eelista turgude lisamisele testi kestuse pikendamist. Pikem eelperiood annab sünteetilise kontrolli sobitamiseks rohkem signaali, mis korvab osaliselt väiksema doonorturgude arvu. Vastupidine ei kehti: turgude lisamine ilma piisavate eelperioodi andmeteta annab ebastabiilse sünteetilise kontrolli.

Kuidas valida ja valideerida katse- ning kontrollpiirkondi?

Eelista ajalooliselt stabiilseid turge, mis on tulemusnäitaja ja selle peamiste mõjutegurite poolest sarnased ning usaldusväärse signaali andmiseks piisavalt suured. Doonorturu ebastabiilsus, näiteks ühekordne müügikampaania hüpe või turustuse muudatus, rikub sünteetilise kontrolli.

Võrreldavuse hindamise kriteeriumid:

  • Tulemusnäitaja lähtetase ja trend eelperioodil
  • Hooajalisuse kooskõla, eriti tugeva piirkondliku hooajalisusega kategoorias
  • Demograafia ja kanalijaotuse sarnasus, kui andmed on kättesaadavad
  • Plaanitud tegevuslike muudatuste puudumine testiperioodil

Määratletud meediaturupiirkonnad ehk DMA-d on enamiku USA testide soovitatav geograafiline ühik. Need tasakaalustavad detailsust ja stabiilsust ning vastavad sellele, kuidas enamik meediaplatvorme piirkondlikku reklaamilevi raporteerib.

Enne käivitamist tehtavad valideerimistestid:

Kontrolli sünteetilise kontrollrühma sobivust L2 tasakaalutuse ja skaleeritud L2 tasakaalutuse näitajatega. Väike skaleeritud L2 tasakaalutus näitab, et sünteetiline kontroll jälgib eelperioodil katseturgu täpselt. Tee platseeboteste, rakendades sama mudelit sekkumiseta eelperioodile ja kontrollides, kas hinnanguline lisamõju on nullilähedane. Võimaluse korral tee tagasivaatekontrolle varasemate kampaaniaperioodidega.

Varakult märgitavad tegevuslikud piirangud: geograafiline saastumine on suurim oht siis, kui katse- ja kontrollrühma DMA-d jagavad meediaturgu või füüsiliste kaupluste teeninduspiirkonda. Oluline on ka piirkonna miinimumsuurus. Väga väikeste turgude tulemusnäitajate aegread on mürarikkad ning sünteetilise kontrolliga raskesti sobitatavad.

Kuidas sünteetilise kontrolli meetodid loovad kontrafaktuaalse võrdlusaluse?

SCM-id loovad sekkumiseta doonorturgude kaalutud kombinatsiooni, mis jäljendab kõige paremini katseturu sekkumiseelset trendi. See kaalutud sünteetiline kontroll on kontrafaktuaalne võrdlusalus: milline oleks katseturu tulemusnäitaja ilma kampaaniata. Lisamõju hinnang on vaadeldud sekkumisjärgse tulemusnäitaja ja sünteetilise võrdlusaluse erinevus.

GeoLift ühendab usaldusväärsuse parandamiseks kaks varianti. Täiendatud sünteetilise kontrolli meetodid ehk ASCM lisavad nihkeparanduse, mis vähendab ebatäpsest eelperioodi sobitamisest tekkivat viga. Selline viga on tavaline, kui ükski doonorturg ega nende kombinatsioon ei peegelda katseturgu täiuslikult. Üldistatud sünteetiline kontroll ehk GSC laiendab raamistiku interaktiivsete fikseeritud efektidega paneelmudelitele, andes põhjuslikele järeldustele tugevama teoreetilise aluse olukorras, kus sekkumismõju erineb turgude vahel. Cambridge Core'i GSC-artikkel annab sellele lähenemisele akadeemilise aluse. GeoLifti GitHubi hoidlas kirjeldatud ASCM-i ja GSC ühendamine vähendab ebatäpse sobitamise nihet ning võimaldab teha kindlaid järeldusi ka väikestes valimites.

Tundlikkuskontrollid, mida iga praktik peaks tegema:

  • Ajaline platseebotest: rakenda mudelit sekkumiseta eelperioodile ja veendu, et hinnanguline mõju on nullilähedane
  • Doonorturgude ükshaaval väljajätmine: eemalda kordamööda iga doonorturg ja kontrolli, kas kontrafaktuaalne võrdlusalus püsib stabiilne
  • L2 tasakaalutuse diagnostika: suur L2 tasakaalutus viitab halvale eelperioodi sobivusele ja ebausaldusväärsele kontrafaktuaalsele võrdlusalusele
  • Tundlikkus doonorturgude koosseisu suhtes: lisa või eemalda doonorturge ning kontrolli, kas lisamõju hinnang muutub oluliselt

Järelduste tegemisel soovitab majandusmeetodite kirjandus parameetrilist bootstrap-meetodit ja täiendamismeetodeid, et saada kehtivad usaldusvahemikud väikese valimiga geograafilistes katsetes, kus traditsiooniline asümptootiline järeldamine võib olla ebausaldusväärne. Berkeley SCM-diagnostika tööartikkel kirjeldab kõiki soovitatud ümberlükkamisteste.

Milliseid andmeid ja mõõtmisseadistust vajab geograafiline lisamõju test?

Puhtad ja täielikud igapäevased piirkondlikud andmed on vältimatu alus. Puuduvad päevad, piirkondade ebaühtlane määratlus või eri mõõtmismeetodeid segavad tulemusnäitajate aegread rikuvad sünteetilise kontrolli sobivuse.

Vajalikud andmeelemendid:

  • Igapäevane piirkondlik tulemusnäitaja: tellimused, tulu, rakenduse paigaldused või muu mõõdetav ärinäitaja
  • Normaliseerimise nimetaja aegrida: piirkondlikud kasutajad, seansid või näitamised
  • Igapäevane kulu kanali ja piirkonna kaupa sekkumisperioodil
  • Kanalite reklaamiga kokkupuute andmed mitme kanaliga testi korral

Koondamise ja eelperioodi juhised:

  • Tulemusnäitaja aegrea puhul eelista päevase sammuga andmeid nädalastele; nädalapõhine koondamine kaotab võimsuskalkulaatorile vajaliku varieeruvussignaali
  • Eelperiood peaks olema vähemalt kaks korda pikem kui kavandatud test, kõikuva näitaja korral soovitatavalt kolm korda pikem
  • Märgi puuduvad päevad selgelt, mitte ära interpoleeri neid; interpoleerimine võib tegelikke andmelünki varjata

Andmete korrastamise reeglid:

Maskeeri eelperioodi müügikampaaniasündmused, mille kordumist testi ajal ei eeldata. Ühtlusta sündmuste ajastus turgudel: üleriigiline soodusmüük, mis jõuab katse- ja kontrollturgudele eri päevadel, tekitab kunstliku lahknemise. Normaliseeri kaupluste avamise, turustuse laiendamise või muude ärimuutuste mõju, kui need puudutavad ainult mõnda turgu. Dokumenteeri iga normaliseerimisotsus muudatuste logis.

Mõõtmisseadistuse märkus: salvesta sekkumise jaotus versioonihaldusega dokumenti enne kampaania käivitamist. Logi ajatempliga kõik testiaegsed muudatused, sealhulgas loovlahenduste vahetused, eelarvemuudatused ja sihtimise kohandused. See kontrolljälg võimaldab tulemusi skeptilisele sidusrühmale põhjendada või katseplaani tulevikus korrata.

Kuidas arvutada lisamõju ja teisendada see äriliseks mõjuks?

GeoLifti mudeli väljund on hinnanguline keskmine sekkumismõju ehk ATE: katseturgudel vaadeldud tulemusnäitaja ja sünteetilise kontrafaktuaalse võrdlusaluse erinevus, keskmistatuna üle testiperioodi. Enne järelduste tegemist vaata seda koos usaldusvahemiku ja p-väärtusega.

Arvutuskäik:

  1. Protsentuaalne lisamõju = (katseturgude vaadeldud tulemusnäitaja miinus kontrafaktuaalne tulemusnäitaja) jagatud kontrafaktuaalse tulemusnäitajaga, väljendatuna protsentides
  2. Lisanduvad konversioonid = protsentuaalne lisamõju korrutatud katseturgude konversioonide lähtemahuga testiperioodil
  3. Lisanduv tulu = lisanduvad konversioonid korrutatud keskmise tellimuse väärtusega
  4. iROAS = lisanduv tulu jagatud katseturgude lisanduva kuluga

Otsustusreeglid sidusrühmadele:

Tulemusest saab lähtuda siis, kui usaldusvahemik ei hõlma nulli ja p-väärtus jääb alla eelnevalt määratud lävendi, mis on geograafilistes katsetes väiksemate valimite tõttu tavaliselt 0,10. Ebaselge tulemus, mille usaldusvahemik ulatub mõlemale poole nulli, ei tähenda nullmõju. See tähendab, et testil nappis valitud lävendil mõju tuvastamiseks võimsust. Too see erinevus aruandes selgelt välja.

Kui nende turgude lisanduv kulu oli 40 000 dollarit, on iROAS 2,5. Eelarveotsust suunab see arv, mitte üksnes protsentuaalne lisamõju. Praktilised juhendid soovitavad esitada iROAS-i koos usaldusvahemikuga, et sidusrühmad mõistaksid nii hinnangu suurust kui ka ebakindlust.

Millised on geograafilise lisamõju testimise levinumad vead?

Kõige tavalisem saatuslik viga on käivitada test eelneva võimsusanalüüsita. Tulemuseks on olukord, mida ei saa tõlgendada: kas lisamõju puudus või oli test selle tuvastamiseks liiga väike? Kasuta alati kõigepealt võimsuskalkulaatorit.

Levinud vead:

  • Ebapiisava võimsusega testid: liiga vähe turge, liiga lühike kestus või madalam MDE kui test tegelikult suudab tuvastada
  • Halvasti valitud doonorturud: kaasatakse turge, kus eelperioodil esines struktuurimuutusi, müügikampaaniatest tingitud kõrvalekaldeid või tegevuslikke muudatusi
  • Saastumine ja ülekandumine: katse- ja kontrollturud jagavad meediaturgu, kaupluste teeninduspiirkonda või turustusvõrku
  • Müügikampaaniate erinev ajastus: testiperioodil ainult katseturgudel või ainult kontrollturgudel toimuv müügikampaania tekitab segava teguri, mida on võimatu reklaami lisamõjust eraldada
  • Valesti määratud tulemusnäitajad: platvormi raporteeritud konversioonide mõõtmine ärinäitajate, näiteks tellimuste või tulu asemel toob omistamisnihke tagasi

Lahendused ja head tavad:

  • Maskeeri eelperioodi andmetes kõik müügikampaaniad ning väldi nende kavandamist testiperioodiks ühelgi turul
  • Oota pärast kampaania lõppu vähemalt kolm kuni viis päeva enne lõplike järelduste tegemist; pika ostutsükliga toodete korral kauem
  • Vali doonorturud konservatiivselt: piiripealne turg on parem välja jätta kui kaasata sünteetilist kontrolli rikkuv turg
  • Võimaluse korral võrdle geograafilise lisamõju tulemust platvormi enda lisamõju uuringu või MMM-i väljundiga; meetoditevaheline samasuunaline tulemus suurendab kindlust

Varajaste hoiatusmärkide jälgimine testi ajal: kontrolli katse- ja kontrollturgude igapäevaseid tulemusnäitajaid. Kontrollturgude ootamatu lahknemine, hüpe või langus ilma vastava sekkumismuudatuseta, viitab saastumisele. Katseturgude mõõtmiskatkestus, kus tulemusnäitaja langeb nulli või ebausutavale tasemele, vajab kohe uurimist, enne kui see rikub järelanalüüsi.

Kopeeritav kontrollnimekiri ja näidisajakava geograafilise lisamõju testiks

Kiire ostuotsusega toote minimaalne usutav ajakava on ligikaudu kaheksa nädalat: kaks kuni kolm nädalat eelvalideerimist, kaks kuni kolm nädalat aktiivset testi ning üks nädal järelmõju ootamist ja analüüsi. Pikema ostutsükli korral planeeri ainuüksi aktiivsele testile neli kuni kuus nädalat.

Kopeeritav kontrollnimekiri:

  1. Kogu 10–12 nädala igapäevased piirkondlikud tulemusnäitajad ja kontrolli nende usutavust
  2. Määra äriline tulemusnäitaja ja normaliseerimismeetod
  3. Vali võimalikud katse- ja kontrollpiirkonnad; USA testides soovitatakse DMA-sid
  4. Tee GeoLifti kalkulaatoriga võimsusanalüüs ning kontrolli MDE, turgude arvu ja kestuse kooskõla
  5. Kontrolli sünteetilise kontrollrühma sobivust: L2 tasakaalutus, skaleeritud L2 tasakaalutus ja platseebotestid
  6. Dokumenteeri sekkumise jaotus ning kõik tegevuslikud piirangud versioonihaldusega tööjuhendis
  7. Maskeeri eelperioodi müügikampaaniad ja märgi testiperioodiks plaanitud kampaaniad
  8. Käivita reklaamikampaania ainult katseturgudel; salvesta alguskuupäev ja kulueesmärgid
  9. Jälgi mõlema rühma igapäevaseid tulemusnäitajaid ning logi kõrvalekalded ajatempliga
  10. Lõpeta kampaania ja alusta järelmõju ooteperioodi: kiire ostuotsusega tootel vähemalt kolm kuni viis päeva
  11. Tee GeoLifti põhjal järeldused; arvuta ATE, usaldusvahemik, p-väärtus, protsentuaalne lisamõju, lisanduv tulu ja iROAS
  12. Dokumenteeri tulemused ja kontrolljälg ning esita need sidusrühmadele koos usaldusvahemikuga

Näidisajakava kiire ostuotsusega tootele:

  • Päevad 1–14: andmete kogumine, usutavuskontrollid, turgude valik, võimsusanalüüs ja käivituseelne valideerimine
  • Päevad 15–35: aktiivne test koos igapäevase jälgimisega
  • Päevad 36–42: järelmõju ooteperiood ja testijärgsed järeldused
  • Päevad 43–45: tulemuste dokumenteerimine ja esitlus sidusrühmadele

Vähenda müra enne testi loovlahenduste valideerimisega

Valideeri loovlahendused ja sihtrühm enne geograafilise testi käivitamist. Loovlahendustest tulenev varieeruvus, kus üks reklaamikontseptsioon ületab teist kanali või piirkonnaga mitteseotud põhjustel märgatavalt, lisab tulemusnäitajasse müra, mida sünteetiline kontroll ei suuda tegelikust piirkondlikust lisamõjust eraldada. Selle varieeruvuse vähendamine enne testi parandab tegelikku MDE-d ilma turgude arvu või kestust muutmata.

Praktiline töövoog koosneb kolmest sammust. Esiteks valideeri loovlahendusi väikeses mahus A/B-testidega, et leida stabiilse ja ennustatava reageerimismääraga kontseptsioonid. Teiseks kasuta sünteetilise sihtrühma hinnanguid, et kontrollida loovlahenduse sobivust kavandatud katseturgude psühhograafiliste profiilidega. Kolmandaks tee ühel turul väike kanalipiloot, et valideerida mõõtmisseadistus ja tulemusnäitajate andmevoog enne täismahulist geograafilist katset.

Praktiline nõuanne: POPJAMi sünteetiliste persoonade simulatsioon võimaldab hinnata reklaamloovlahendusi sihtturgude psühhograafiliste profiilide alusel enne reklaamikulu tegemist. Selle hindamisetapi läbimine enne võimsusanalüüsi annab täpsema dispersioonihinnangu ja parandab otseselt MDE arvutuse täpsust. Tutvu loovlahenduste testimise töövoogudega ja sihtrühma uurimise meetoditega, mis täiendavad testi eelvalideerimist.

Loovlahenduste eelvalideerimise ühendamine piisava võimsusega geograafilise katsega on kiireim tee tulemuseni, mille põhjal tegutseda. Geograafiline test vastab küsimusele, kas kanal annab lisanduvaid äritulemusi. Loovlahenduste valideerimine näitab, kas sõnum toimib. Mõlemat tehes ei pea sa mõistatama, kas nulltulemus tulenes kanalist või loovlahendusest.

Kas soovid enne järgmist geograafilist testi vähendada loovlahenduste varieeruvust? POPJAM loob brändiga kooskõlas reklaamloovlahendusi ja hindab neid sünteetiliste ostjapersoonadega enne ainsagi dollari kulutamist. See tähendab puhtamaid sisendeid, täpsemaid dispersioonihinnanguid ning geograafilisi teste, mis suudavad loodud lisamõju päriselt tuvastada.

POPJAM

Proovi POPJAMi tehisintellektiga reklaamiloojat ja vaata, kuidas käivituseelne loovlahenduste testimine muudab geograafiliste katsete tuvastusvõimet.

Müra vähendamine loovlahenduste valideerimisega enne testi: ülevaateskeem

Milles enamik geograafilise lisamõju testimise juhendeid eksib?

Enamik juhendeid käsitleb geograafilist lisamõju testimist statistikaprobleemina. Tegelikult on see mõõtmise korraldamise probleem, mille vastuse leidmiseks kasutatakse statistikat.

Kõige sagedamini nähtavad nõuanded keskenduvad õige mudelivariandi valimisele, ASCM-i ja GSC võrdlemisele või doonorturgude kaalude kohandamisele. Isegi täiuslikult määratletud sünteetiline kontroll annab ebapuhaste andmete põhjal täpse hinnangu valele asjale.

Teine juhendites alahinnatud tegur on loovlahendusest tulenev segav mõju. Testimata loovlahendustega geograafilises testis mõõdad kanali ja sõnumi ühist mõju. Nulltulemus võib tähendada, et kanal ei toimi või et loovlahendus ei kõnetanud just nende turgude publikut. Tagantjärele ei saa neid eraldada. Loovlahenduste valideerimine enne geograafilist testi, olgu väikeste pilootide, sünteetiliste persoonade hinnangute või käivituseelse simulatsiooni abil, ei ole pelgalt tore lisa. See muudab geograafilise testi tulemuse tõlgendatavaks.

Kolmas tähelepanuta jäetud asjaolu on järelmõju ooteperiood. Enamik tiime lõpetab analüüsi kampaania lõppemise päeval. Üle 48-tunnise ostutsükliga toote puhul alahindab see lisamõju. Sünteetiline kontroll kajastab kontrafaktuaalset trendi, kuid kui kampaaniast tulenevaid tegelikke konversioone saabub katseturgudele ka pärast kampaania lõppu, jääb ATE alahinnatuks. Oota vähemalt kolm kuni viis päeva, kaalutletud ostude puhul kauem.

Kui aeg või piirkondade arv on piiratud, eelista turgude arvule kestust ja kasuta võimsuskalkulaatorit enne kõike muud.

Allikad

Järgmised põhiallikad on järjestatud eesmärgi järgi.

Kui soovid testi kavandada: alusta GeoLifti metoodikadokumentatsioonist, mis hõlmab kogu katseplaneerimise raamistikku, võimsuskalkulaatoreid ning GeoLifti järeldustes kasutatavat ASCM-i ja GSC kombinatsiooni.

Kui soovid koodi rakendada: GeoLifti GitHubi hoidlas on kõik turgude valimise, võimsusanalüüsi, järelduste tegemise ja graafikute loomise funktsioonid. GeoLifti samm-sammuline näide läbib kogu protsessi andmete sisestamisest lisamõju hindamiseni, kasutades 40 USA linna simuleeritud andmeid.

Kui soovid kontrollida statistilist teooriat: siis Cambridge Core'i artikkel üldistatud sünteetilise kontrolli kohta annab interaktiivsete fikseeritud efektidega mudelitele ja usaldusväärsetele põhjuslikele järeldustele akadeemilise aluse. AEA ajakirja Journal of Economic Perspectives käsitlus SCM-i järeldamisest tutvustab bootstrap- ja täiendamismeetodeid väikeste valimite kehtivate ebakindlushinnangute saamiseks. Berkeley SCM-diagnostika tööartikkel kirjeldab soovitatud ümberlükkamisteste.

Praktiliseks rakendamiseks: Triple Whale'i GeoLifti juhend teisendab metoodika turunduse töövoogudeks, hõlmates DMA-de valimist, ajakava reegleid ja iROAS-i arvutamist.

Korduma kippuvad küsimused

Mis on geograafiline lisamõju test turunduses?

Geograafiline lisamõju test on turutasandil tehtav inkrementaalsuse katse, mis võrdleb katsepiirkondade ärilist tulemusnäitajat sünteetilise või sobitatud kontrollrühmaga, et hinnata reklaami põhjuslikku mõju. See on eelistatud meetod, kui kasutajapõhine randomiseerimine pole võimalik.

Mitu turgu on geograafilise lisamõju testiks vaja?

Kindlat miinimumi pole, kuid GeoLifti võimsuskalkulaator aitab leida turgude arvu, testi kestuse ja MDE kombinatsiooni, mis saavutab soovitud statistilise võimsuse. Rohkem turge vähendab dispersiooni; vähem turge nõuab pikemat kestust või kõrgemat MDE lävendit.

Kui kaua peaks geograafiline lisamõju test kestma?

Praktilistes juhendites soovitatakse kiire ostuotsusega toodetele vähemalt ligikaudu 15 päeva ja pikema ostutsükliga toodetele neli kuni kuus nädalat, lisaks vähemalt kolme- kuni viiepäevane järelmõju ooteperiood pärast kampaania lõppu.

Mis vahe on geograafilisel lisamõjul ja MMM-il?

Geograafiline lisamõju test annab konkreetse kampaania põhjusliku mõju hinnangu kindlatel turgudel määratud ajavahemikus. Meediakombinatsiooni modelleerimine ehk MMM hindab kanalite panust kogu meediavalikus pikema ajaloolise perioodi põhjal. Meetodid täiendavad teineteist: geograafilise lisamõju tulemusi saab kasutada MMM-i kordajate kalibreerimiseks.

Mida tähendab iROAS geograafilise lisamõju testis?

iROAS tähendab lisanduvat reklaamikulu tasuvust. Selle arvutamiseks jagad lisamõju hinnangust tuletatud lisanduva tulu katseturgude lisanduva kuluga testiperioodil. See on äriline näitaja, mis muudab statistilise lisamõju hinnangu eelarveotsuse aluseks.