POPJAM Logo
Tagasi blogisse

Vähenda minimaalset tuvastatavat efekti ilma lisaliikluseta

Määra minimaalne tuvastatav efekt ärilise mõju järgi, vähenda MDE-d liiklust ostmata ja esita nulltulemused nii, et juhid saaksid tegutseda.

Doruk Gezici
Doruk Gezici
13 min lugemist
Vähenda minimaalset tuvastatavat efekti ilma lisaliikluseta

Minimaalne tuvastatav efekt ehk MDE on väikseim tegelik muutus, mida eksperiment suudab sinu valitud statistilise võimsuse ja olulisuse nivoo juures olemasoleva valimiga usaldusväärselt märgata. Kui väikseim ettevõttele oluline kasv jääb MDE-st allapoole, ei ole see testimine. See on lisasammudega oletamine ning ükski nutikas järelanalüüs seda ei paranda.

Lühikokkuvõte:

  • Kui ettevõte peab tuvastama praegusest MDE-st väiksemaid efekte, võib olla vaja rohkem liiklust või testi kordamist, sest MDE muutub pöördvõrdeliselt valimi suuruse ruutjuurega.
  • Alfa muutmine väärtusele 0,01 või võimsuse suurendamine 0,80-lt 0,90-le suurendab MDE-d, mistõttu on väiksemaid efekte lisavalimi või pikema kestuseta raskem tuvastada.
  • Dispersiooni vähendamise meetodid, nagu CUPED, stratifitseerimine või isikusisene disain, võivad MDE-d vähendada lisaliikluseta ja muuta testid tundlikumaks.
  • Esita nulltulemuste kõrval alati MDE, et selgitada, kui suuri efekte test suutis usaldusväärselt tuvastada, ning vältida statistiliselt mitteoluliste tulemuste vääritimõistmist.
POPJAM
Testi loovlahendusi enne suuremat kulutamist
POPJAM aitab turundustiimidel luua brändiga sobivaid reklaamiloovlahendusi ja testida enne avaldamist sihtrühma reaktsioone sünteetiliste ostjapersoonidega.
Tutvu POPJAMiga

Sisukord

Mis on MDE? Täpne määratlus ja selle tähtsus

MDE on testi kavandamise näitaja, mitte tulemus. See ütleb enne millegi käivitamist, millise väikseima tegeliku efekti tuvastamiseks on test sinu valimi suuruse, olulisuse lävendi ehk alfa ja statistilise võimsuse juures kavandatud. See on Maailmapanga DIME uurimisrühma kirjeldatud võimsusarvutuste põhiidee: MDE on sama matemaatika väljund, mis määrab valimi suuruse, mitte eraldiseisev oletus.

Siin tekib sageli segadus. MDE ei ole efekt, mida loodad näha, ega efekt, mida pärast testi lõppu tegelikult täheldasid. Need on kolm eri arvu:

  • MDE: väikseim efekt, mille tuvastamiseks on testi disain piisavalt tundlik
  • Oodatav efekt: sinu hüpotees või varasem uskumus tegeliku kasvu kohta
  • Täheldatud efekt: see, mida andmed pärast testi näitasid

Täheldatud efekti segiajamine MDE-ga viib nulltulemuste vääritimõistmiseni. Kui MDE on 5 protsendipunkti ja test näitab statistiliselt mitteolulist 2-punktilist kasvu, ei tähenda see efekti puudumist. See tähendab, et test polnud kavandatud nägema alla 5-punktilisi muutusi, seega oli 2-punktiline signaal algusest peale nähtamatu. Spotify Confidence'i dokumentatsioon sõnastab selle hästi: MDE kirjeldab seda, mida uuring suudaks tuvastada, mitte seda, mis maailmas tegelikult toimub.

Mõtle MDE-st kui kaamera eraldusvõimest. Telefonikaamera jäädvustab päikeseloojangu hästi, kuid ei erista rannas üksikuid liivateri. Eksperiment toimib samamoodi. Anna sellele piisavalt liiklust ja aega ning see eristab 1% kasvu. Jäta valim liiga väikeseks ning see eristab alles umbes 15% kasvu, nii et kõik väiksem jääb märkamata. See ei ole statistika viga. See on piirang, mille määrasid hetkel, kui otsustasid testi liikluse mahu ja päevade arvu.

Kuidas võimsus, alfa ja valimi suurus määravad MDE?

Igat eksperimenti juhivad neli arvu: valimi suurus, statistiline võimsus, olulisuse nivoo ehk alfa ja MDE. Fikseeri neist kolm ning neljas on paigas. See pole rusikareegel, vaid algebra. Enamik kalkulaatoreid ja eksperimenteerimisplatvorme lubab lahendada parajasti puuduva väärtuse, kuid seos ei muutu.

Kõige olulisem on mõista MDE seost valimi suurusega. MDE on võrdeline ühega jagatuna valimi suuruse n ruutjuurega. MetricGate'i valemi selgitus annab sellele konkreetse arvu: valimi kahekordistamine vähendab MDE-d ainult umbes 1,41 korda, mitte 2 korda.

Statistiline tähelepanek: MDE poole võrra vähendamiseks on vaja umbes neli korda suuremat valimit. See ruutjuurseos on eksperimentide planeerimise kõige alahinnatum fakt. Tiimid kahekordistavad sageli testile eraldatud liiklust, lootes tundlikkust kahekordistada, ning ei mõista siis, miks paranemine tundub väike.

Ruutjuurseos valimi suuruse ja MDE vahel

Sellel mittelineaarsusel on planeerimisele päris tagajärjed. Kui praegune MDE on 8% suhtelist kasvu ja ettevõttele olulise muutuse tuvastamiseks on vaja jõuda 4%-ni, ei vaja sa kaks korda pikemat testi. Vajad umbes neli korda pikemat. Kahenädalasest testist saab kaheksanädalane, mis muudab vestluse osapooltega „pikendame testi” asemel küsimuseks „mõtleme disaini uuesti läbi”.

Alfa ja võimsus mõjutavad MDE-d samas suunas, lihtsalt vähem järsult. Alfa karmistamine 0,05-lt 0,01-le, mis tähendab vähem valepositiivseid tulemusi, kuid raskemini ületatavat lävendit, suurendab sama valimi juures MDE-d: rangema piiri ületamiseks on vaja suuremat signaali. Võimsuse suurendamine 0,80-lt 0,90-le, mis jätab vähem tegelikke efekte märkamata, teeb sama, sest suurem võimsus nõuab enne järeldust rohkem tõendeid.

Maailmapanga DIME juhised käsitlevad väärtusi alfa = 0,05 ja võimsus = 0,80 mõistlike vaikeseadetena ning enamik kommertstestimise tööriistu kasutab neid. Vaikeseaded pole aga seadused. Kui valepositiivne tulemus tähendaks katkise kassavoo avaldamist kõigile klientidele, on alfa karmistamine 0,01-le paremini põhjendatav, kuigi vähendab tundlikkust. Kui suurem risk on tõelise võitja märkamata jätmine, näiteks varajastes kasvukatsetes, kus maht on odav, võib võimsuse viimine 0,90-ni lisavalimit väärt olla.

MDE arvutamine: valemid ja lahendatud näited

MDE matemaatika pöörab tavapärase võimsusarvutuse ümber. Selle asemel et leida sihtefekti järgi valimi suurus, leiad fikseeritud valimi järgi efekti suuruse. Nii käib see kahe kõige levinuma testitüübi puhul.

Kahe osakaalu testid: konversioonimäära eksperimendid

Kahe osakaalu z-testi puhul, mis võrdleb kontrollrühma ja variandi konversioonimäärasid, on MDE valem järgmine:

MDE = (z₁₋α/2 + z₁₋β) × √(2p(1 − p) / n)

Siin on p konversioonimäära baastase, n valimi suurus rühma kohta ning z-väärtused tulenevad valitud alfast ja võimsusest. Tavapärase alfa 0,05 ehk kahepoolse testi ja võimsuse 0,80 juures on z₁₋α/2 ≈ 1,96 ning z₁₋β ≈ 0,84.

Lahendatud näide: Oletame, et maandumislehe konversioonimäär on 10% (p = 0,10) ja plaanid igasse rühma 10 000 külastajat.

  1. Arvuta standardvea komponent: √(2 × 0,10 × 0,90 / 10 000) = √(0,000018) ≈ 0,00424
  2. Korruta z-skooride summaga: (1,96 + 0,84) × 0,00424 = 2,80 × 0,00424 ≈ 0,0119
  3. Teisenda tulemus loetavaks: MDE on umbes 1,19 protsendipunkti, mis tähendab, et test suudab tuvastada konversioonimäära tõusu 10%-lt umbes 11,19%-le, kuid mitte väiksemat muutust

See eristus on tähtsam, kui enamik arvab, ning Statistics.toolsi MDE arvutamise selgitus ütleb seda otse: sama suhteline kasv tähendab sõltuvalt baastasemest väga erinevaid asju. Esita alati mõlemad arvud ja ära kunagi maini suhtelist kasvu selle aluseks olevat baastaset ütlemata.

Kahe valimi keskmised: tulu, lehel veedetud aeg, AOV

Kui võrdled osakaalude asemel keskmisi, nagu keskmine tellimuse väärtus, seansi kestus või tulu kasutaja kohta, muutub valem veidi:

MDE = (z₁₋α/2 + z₁₋β) × σ × √(1/n₁ + 1/n₂)

Siin on σ sinu mõõdiku standardhälve ning n₁ ja n₂ rühmade suurused. MetricGate'i valemiviide käsitleb seda Coheni d kaudu, mis on standardiseeritud efekti suurus ja väljendab erinevust algühikute asemel standardhälbe ühikutes. Coheni d teisendamiseks aruandes kasutatavaks arvuks korruta d mõõdiku standardhälbega. Kui AOV standardhälve on 25 dollarit, tähendab Coheni d väärtus 0,2 tuvastatavat absoluutset erinevust 5 dollarit.

Testi tüüp Valemi põhiosa Mida pead teadma
Kaks osakaalu: konversioon (z₁₋α/2 + z₁₋β) × √(2p(1−p)/n) Baasmäär, valimi suurus rühma kohta
Kaks keskmist: tulu, aeg (z₁₋α/2 + z₁₋β) × σ × √(1/n₁ + 1/n₂) Standardhälve, valimi suurus rühma kohta
Coheni d: standardiseeritud d = efekt / σ Algühikutesse teisendamiseks korruta σ-ga

Neid arvutusi tuleb harva käsitsi teha. R-i pakett pwr, kus pwr.2p.test on osakaaludele ja pwr.t.test keskmistele, ning Pythoni moodul statsmodels.stats.power teevad algebra sinu eest. Enamik eksperimenteerimisplatvorme näitab MDE hinnangut otse seadistusvaates.

Praktiline soovitus: Tee arvutus alati kaks korda: esmalt leia plaanitud valimi järgi MDE ning seejärel väikseima tegutsemist vääriva MDE järgi valimi suurus. Kui need arvud ei sobi sinu tegeliku liikluse ja ajakavaga, oled lõhe avastanud enne ühegi testiliikluse päeva raiskamist.

Kuidas valida ärilist mõju kajastav MDE

Enamiku tiimide viga on pidada MDE-d puhtalt statistiliseks otsuseks. Seda see ei ole. MDE peaks algama raha või kasutajamõju küsimusest: milline on väikseim kasv, mis päriselt otsust muudaks?

Alusta KPI teisendamisest tuluks. Kui võitva variandi ehitamise ja avaldamise püsikulu on 15 000 dollarit, ületab ka 0,5-punktiline kasv vajaliku piiri. Test, mis suudab tuvastada ainult vähemalt 3-punktilisi muutusi, muudaks sinu jaoks nähtamatuks muudatuse, mis on aastas väärt kümneid tuhandeid dollareid.

Kui tead väikseimat tuvastamist väärt efekti, võrdle seda tegeliku liikluse ja ajakavaga järgmise kontrollnimekirja abil:

  • Kas mõistliku perioodi jooksul kogutav valim, tavaliselt 2 kuni 4 nädalat, annab äriliselt olulise lävendiga võrdse või sellest väiksema MDE?
  • Kui ei, kas saad testi pikendada, ilma et tulemused hooajalisuse, kampaaniapakkumiste või algoritmimuutuste tõttu aeguksid?
  • Kui pikendamine pole realistlik, kas saad MDE-d suurendada ja leppida sellega, et tuvastatakse ainult suuremad efektid ning väiksemad võidud jäävad märkamata?
  • Kas disaini muutmine, näiteks allpool kirjeldatud dispersiooni vähendamine, annaks väiksema MDE ilma lisaliikluseta?

Optimizely juhised MDE kasutamiseks eksperimentide kavandamisel sõnastavad selle kompromissi selgelt: MDE muudab küsimuse „kui kaua peaks see test kestma?” statistikaloengust äriliseks vestluseks.

Praktiline soovitus: Kui väikese liiklusega leht ei jõua ühegi mõistliku aja jooksul tähendusliku MDE-ni, ei ole see põhjus test ikkagi käivitada ja loota. See on signaal testida suurema oodatava mõjuga muudatust, näiteks terviklikku ümberkujundust nupuvärvi asemel, sest suuremate muutuste tuvastamiseks on vaja väiksemat valimit.

Praktilised viisid MDE vähendamiseks valimit suurendamata

Testi tundlikkuse parandamiseks ei pea rohkem liiklust ostma. Mitu disaini- ja analüüsivalikut vähendavad otseselt dispersiooni ning seega sama valimi juures MDE-d.

  • CUPED ehk eksperimendieelsete andmetega kontrollitud eksperiment: korrigeerib enne testi mõõdetud kovariaadi, näiteks kasutaja varasema konversioonimäära või kulutuste järgi, eemaldades varieeruvuse, mis ei ole seotud sekkumise endaga.
  • Blokeerimine ja stratifitseerimine: sarnaste kasutajate rühmitamine seadme, geograafia või senise kaasatuse taseme järgi enne juhuslikku jaotamist vähendab müra, mida need erinevused muidu võrdlusse lisaksid.
  • Paaris- või isikusisesed disainid: kui see on teostatav, eemaldab sama kasutaja käitumise võrdlemine enne ja pärast kokkupuudet täielikult kasutajatevahelise varieeruvuse, mis on sageli suurim müraallikas.
  • Mõõdiku valik: binaarne konversioonimõõdik on mürarikkam kui rohkematest andmepunktidest loodud pidev mõõdik; näiteks tulu koondamine pikema aja jooksul annab sageli stabiilsema ja tundlikuma mõõdiku kui ainult päevane konversioonimäär.

MetricGate'i käsitlus dispersiooni vähendamise meetoditest märgib, et ainuüksi CUPED vähendab vajalikku valimit sageli 20 kuni 50%, sõltuvalt kovariaadi ennustusvõimest. See pole universaalne arv: tulemuse mõõdikuga nõrgalt korreleeruv kovariaat ei aita kuigi palju. Kuid näiteks eelneva 30 päeva kulutused on tavaliselt piisavalt tugev kovariaat, kui tulemuse mõõdik on järgneva perioodi kulutused.

Liiga ulatusliku blokeerimisega kaasneb risk: mida rohkem kihte eraldad, seda väiksemaks igaüks jääb, kuni tekivad taas valimi suuruse probleemid igas plokis. Kasuta seda siis, kui alarühmad tegelikult erinevad, mitte automaatse vaikimisi valikuna.

Kuidas esitada MDE-d ja tõlgendada nulltulemusi

Igas eksperimendi aruandes peaks MDE seisma punkthinnangu ja usaldusvahemiku kõrval, mitte peituma metoodika lisas. Tulemus „statistiliselt olulist erinevust ei leitud, MDE oli 6,2 protsendipunkti” ütleb juhtidele midagi, mida paljas „pole oluline” ei ütle: test oli kavandatud tuvastama vaid üsna suuri muutusi ja kõik allpool seda lävendit jääb tegelikult teadmata.

  • Esita MDE, täheldatud efekt ja usaldusvahemik alati koos, olenemata sellest, kas tulemus on statistiliselt oluline.
  • Ära kunagi arvuta ega esita „täheldatud võimsust”, st pärast testi mõõdetud efekti suuruse järgi arvutatud võimsust. J-PAL-i uuringud ebapiisava võimsusega hindamiste kohta nimetavad seda levinud eksitavaks tavaks, sest täheldatud võimsus on matemaatiliselt lihtsalt p-väärtuse ümberteisendus ega lisa uut infot.
  • Statistiliselt mitteoluline tulemus väikese MDE-ga, näiteks 1 kuni 2 punkti, on sisukas tõend praktiliselt olulise efekti puudumise kohta.
  • Statistiliselt mitteoluline tulemus suure MDE-ga, vähemalt 10 punkti, ei ütle peaaegu midagi; aus järgmine samm on disaini muutmine, mitte õlakehitus.
  • Enne nulltulemusega testi kordamist küsi, kas saad vähendada dispersiooni eespool toodud meetoditega, selle asemel et sama disaini lihtsalt kauem käitada.

MDE planeerimise head tavad ja levinud vead

Enamik MDE vigu taandub mõnele harjumusele ning neid saab vältida, kui tead, mida jälgida.

  1. Määra MDE enne andmete kogumist ja pane see kirja. Pärast arvude nägemist otsustamine, mida pidada „tähenduslikuks” efektiks, soodustab soovmõtlemisest lähtuvat põhjendamist.
  2. Ära piilu tulemusi ega lõpeta testi varakult, kui need head paistavad. Juhuslik vahepealne vaatamine tõstab valepositiivsete tulemuste määra tublisti üle deklareeritud alfa. Evan Milleri järjestikuse testimise analüüs selgitab, miks mitteametlik jälgimine rikub testi kavandamisel eeldatud garantiisid, ning näitab, kuidas planeeritud järjestikused meetodid lubavad tulemusi varem kontrollida ilma selle tagajärjeta.
  3. Tee mitmese võrdluse parandus, kui testid korraga mitut varianti või mõõdikut, ning kasuta vaikimisi kahepoolseid teste, kui sul pole konkreetset eelregistreeritud põhjust oodata muutust ainult ühes suunas.
  4. Dokumenteeri eeldused: baasmäär, dispersiooni hinnang ja MDE arvutamisel kasutatud valimi suurus, et kolleeg või sina ise saaks seda arvu kuue kuu pärast kontrollida.

MDE rakendamine reklaamiloovlahenduste ja turunduse testides

Turundustestidele kehtib sama matemaatika ühe lisatingimusega: päris A/B-testi kulu reklaamiplatvormil pole ainult statistiline, vaid ka reklaamiraha. Iga kaotavale loovvariandile kulutatud näitamine on raha, mis ei toonud konversiooni.

Alusta konversioonikasvu MDE teisendamisest ROAS-i või tulu lävendiks samamoodi nagu maandumislehe puhul.

Siin tasub eeltestimine end ära. Loovkontseptsioonide läbiviimine sünteetilise sihtrühma tagasisidest enne päris kulutamist jätab päristesti selgelt eristuvad finalistid. See teeb kaht asja: vähendab sama liikluse pärast konkureerivate variantide arvu ja seega mitmese võrdluse koormust ning kõrvaldab nõrgad kontseptsioonid, mille eristamiseks kontrollvariandist oleks niigi vaja olnud väga suurt MDE-d.

Toimiv loovlahenduste testimise töövoog näeb välja selline:

  • Loo loovkontseptsioonid ja eeltesti neid sünteetiliste ostjapersoonidega, et tabada ilmsed möödalaskmised enne dollari kulutamist pärisliiklusele.
  • Vali kaks või kolm finalisti, mille reaktsioonimustrid eeltestis tähenduslikult erinevad, mitte viis peaaegu identset varianti.
  • Määra päris A/B-testi MDE dokumenteeritud eelduste järgi: konversioonimäära baastase, testiperioodi oodatav liiklus ja väikseim ROAS-i paranemine, mis õigustaks loovlahenduse vahetamist.
  • Käivita reklaamide päristestimise töövoog juba alguses deklareeritud MDE-ga, mitte ära avasta seda alles pärast segaseid tulemusi.

Eeltestimine ei asenda päristesti. See vähendab seda, kui palju päristest peab tõestama, ning just see kahandab vajalikku valimit ja ajakava. POPJAMi tasuta reklaamitestimise tööriist ja selgitus, miks loovlahenduste eeltestimine vähendab kulusid, osutavad samale siin käsitletud matemaatikale: vähem ja selgemalt eristuvaid variante tähendab väiksemat, taskukohasemat MDE-d. Andmete ja loovotsuste seoste sügavamaks mõistmiseks käsitlevad andmepõhine reklaamitestimine ROI parandamiseks ning üldised konversioonimäära optimeerimise tavad lähedasi teemasid, mida tasub selle töövoo kõrval lugeda.

Miks enamik tiime läheneb MDE-le tagurpidi

Enamik selle teema juhiseid käsitleb MDE-d kalkulaatori väljundina: sisesta baastase, alfa ja võimsus, saa arv ning liigu edasi. See on tagurpidi. Arv peaks lähtuma kõigepealt äriküsimusest, seejärel liikluse piirangust ja alles lõpuks valemist.

Suurem pimekoht on aruandlus. Tiimid, kes arvutavad MDE enne käivitamist hoolikalt, unustavad selle sageli pärast esitada. Nii loetakse nulltulemust kui „midagi ei juhtunud”, mitte kui „suutsime näha ainult üle X ulatuvaid efekte ja nii suurt ei ilmnenud”. See vahe muudab mõistlikku järgmist sammu: kas loobuda, korrata testi tundlikuma disainiga või leppida sellega, et väiksem efekt võib olemas olla, kuid ei vääri tagaajamist.

See üks tõsiasi peaks kujundama iga vestlust testi pikendamise ja ümberkavandamise vahel ning seda, kuidas loovtiimid eeltestivad enne päris reklaamiraha kulutamist.

Doruk

Allikad

Korduma kippuvad küsimused

Kuidas arvutada minimaalset tuvastatavat efekti?

Osakaalude puhul MDE = (z₁₋α/2 + z₁₋β) × √(2p(1−p)/n), kus p on baasmäär ja n valimi suurus rühma kohta. Keskmiste puhul asenda osakaalu sisaldav tegur avaldisega σ × √(1/n₁ + 1/n₂), kasutades mõõdiku standardhälvet.

Kuidas arvutada minimaalset tuvastatavat muutust?

Minimaalne tuvastatav muutus järgib sama matemaatikat mis MDE. See on väikseim tegelik erinevus, mida testi disain suudab valimi suuruse, valitud alfa ja sihtvõimsuse juures usaldusväärselt märgata, ning see leitakse tavapärase võimsusvalemi ümberpööramisel.

Kas efekti suurus 0,3 on hea?

Coheni d väärtust 0,2 peetakse üldiselt väikeseks efektiks ja 0,3 jääb väikese ning keskmise vahele. Kas see on „hea”, sõltub täielikult kontekstist: maandumislehe testis võib standardiseeritud efekt 0,3 tähendada olulist tulukasvu, samas kui kliinilises uuringus võib sama arv olla ravi õigustamiseks liiga väike.

Kas p-väärtust alla 0,001 peetakse statistiliselt oluliseks?

Jah, p-väärtus alla 0,05 ületab tavapärase olulisuse lävendi varuga. Väga väike p-väärtus näitab tugevaid tõendeid nullhüpoteesi vastu, kuid ei ütle midagi selle kohta, kas täheldatud efekt on sinu ettevõtte jaoks piisavalt suur.

Mis vahe on MDE-l ja statistilisel võimsusel?

Võimsus on tõenäosus, et test tuvastab etteantud suurusega tegeliku efekti; MDE on väikseim efekt, mida test selle võimsuse juures tuvastab. Need on sama võimsusanalüüsi kaks poolt, milles lihtsalt lahendatakse eri tundmatuid.