POPJAM Logo
Tagasi blogisse

E-kirja teemarea testimine: praktiline A/B-juhend

Saavuta tõhusa e-kirja teemarea testimisega kõrgem avamismäär. Avasta praktilised A/B-strateegiad kaasatuse ja käibe suurendamiseks.

Doruk Gezici
Doruk Gezici
12 min lugemist
E-kirja teemarea testimine: praktiline A/B-juhend

Tee kontrollitud A/B-test ühe muutujaga, enne saatmist kirja pandud hüpoteesiga ja eelnevalt valitud hilisema etapi mõõdikuga. See on kiireim tee usaldusväärsete vastusteni selle kohta, mis tegelikult mõjutab avamisi, klikke, vastuseid või käivet. Juhendi ülejäänud osa käsitleb, millised testitüübid sobivad sinu nimekirjale, kuidas katse üles ehitada, milliseid tööriistu usaldada ning kuidas lugeda tulemusi, mis ulatuvad edeva avamismäära taha.

Lühiülevaade:

  • Teemaridade A/B-testid sobivad mõnesajast kontaktist koosnevatele nimekirjadele. A/B/n- ja mitmemuutujatestid vajavad suuremat sihtrühma ning pikemat aega.
  • Põhjendatav test peab eraldama ühe muutuja, sisaldama ette määratud hüpoteesi ja ootama enne võitja väljakuulutamist 24–48 tundi või kauem, et hilisemate etappide mõõdikud stabiliseeruksid.
  • Teemaridu hindavad tööriistad aitavad ideid leida, kuid ei suuda täpselt määrata sihtrühma eelistusi. Usaldusväärsete tulemuste jaoks on päriselt testimine endiselt vajalik.
  • Parim edumõõdik sõltub kampaania eesmärgist. Konversioonid või vastused on usaldusväärsemad kui avamismäärad, mida mõjutavad privaatsusfunktsioonid nagu Apple’i Mail Privacy Protection.
  • Testitulemuste järjepidev dokumenteerimine ja ajas analüüsimine parandab kampaaniatest õppimist ning testimisdistsipliin kaalub üles testide hulga.

Sisukord

Milliseid teemaridade teste peaksid tegema?

Iga nimekiri ei vaja sama katset. Valitud formaat sõltub kontaktide arvust ja sellest, kui palju riski saad taluda, kui variant jääb alla ootuste.

A/B-testimine võrdleb kahte teemarida otse. See on enamiku meeskondade vaikimisi valik, sest eraldab ühe muutuja ja annab selge tulemuse. A/B/n-testimine laiendab seda kolmele või enamale variandile korraga. See on kasulik suure nimekirja puhul, kui tahad ühe saatmisega võrrelda mitut lähenemist, näiteks kiireloomulisust, uudishimu ja isikupärastamist. Mitmemuutujatestimine muudab korraga mitut elementi, näiteks teemarida, eelvaateteksti ja saatja nime, ning vajab mõjude eristamiseks palju suuremat valimit. Seetõttu sobib see paremini ettevõtetele, kelle nimekirjas on kuuekohaline arv kontakte. Eraldatud proovirühma testimine saadab võitva variandi esmalt väikesele katserühmale ja pärast võitja kinnitamist ülejäänud nimekirjale, kaitstes enamikku sihtrühmast kehva teemarea eest.

  • A/B: parim vaikimisi valik; töötab ka mõnesaja kontaktiga nimekirjades.
  • A/B/n: vajab rohkem mahtu; sobib, kui testida on vähemalt kolm sisuliselt erinevat hüpoteesi.
  • Mitmemuutujatest: vajab suurettevõtte mahtu; statistilise olulisuseni jõudmiseks arvesta nädalate, mitte päevadega.
  • Eraldatud proovirühm: väikseim risk; ideaalne, kui suure saatmise avamismäära kõikumine võib käivet kahjustada.

Väiksemate nimekirjade puhul hoia asi lihtne ja kasuta tavalist A/B-testi. Jäta mitmemuutujatestid ja keerukad eraldatud rühmadega katsekavad nimekirjadele, mis on piisavalt suured, et kaitsta enamikku sihtrühmast ja samal ajal midagi õppida.

Kuidas teha põhjendatav teemarea A/B-test?

Merge’i teemaridade testimise juhendi järgi eraldab põhjendatav test ühe muutuja, sõnastab hüpoteesi enne käivitamist ning määrab võidumõõdiku ette. Kui jätad ühe neist vahele, ei testi sa, vaid oletad mõne lisasammuga.

Siin on järjekord, mis peab kriitikale vastu:

  1. Kirjuta kõigepealt hüpotees. „Saaja eesnime lisamine suurendab klikkimismäära vähemalt 10%” on testitav. „Proovime midagi lõbusamat” ei ole.
  2. Eralda üks muutuja. Muuda ainult teemarea pikkust, ainult emotikoni või ainult isikupärastamise välja. Kui muudad kahte asja, ei tea sa, kumb muutuse põhjustas.
  3. Vali jaotus. Alla 1000 kontaktiga nimekirjades sobib lihtne 50/50 jaotus. Suuremate nimekirjade puhul saadab 20/80 katsejaotus variandid 20%-le kontaktidest ja seejärel võitja ülejäänud 80%-le. See piirab kahju, kui üks versioon ebaõnnestub.
  4. Hoia kõik muu muutumatuna. Sama saatmisaeg, sama segment, sama kirja sisu, sama saatja nimi. Iga muu muutus saastab tulemust.
  5. Vali võidumõõdik enne käivitamist, mitte pärast seda, kui näed, milline arv parem paistab.
  6. Lase testil statistilise olulisuseni jõuda, seejärel saada võitja laiemalt välja ja pane kirja, miks see sinu arvates võitis.

Praktiline nõuanne: Ära kuuluta võitjat välja kahe tunni andmete põhjal. Varajased avamised eelistavad tihti varianti, mis jõudis sel hommikul postkasti esimesena, mitte seda, mis on tegelikult parem. Anna testile enne tulemuse kuulutamist aega vähemalt üheks täielikuks kaasatustsükliks, tavaliselt 24–48 tundi.

Dokumenteeri iga võitja põhjendus, mitte ainult võitnud fraas. Rida, mis töötas konkreetse soodustuse nimetamise tõttu, õpetab midagi korduvkasutatavat; rida, mida sa ei oska selgitada, ei õpeta midagi.

Millistest teemaridade testijatest ja A/B-tööriistadest on päriselt abi?

Tasuta hindamistööriistad sobivad ideede leidmiseks. Need ei asenda tegelikku testi sinu enda sihtrühmaga.

Käsi kasutab telefoni e-kirjade teemaridade hindamiseks

Näiteks Omnisendi teemarea testija hindab rida skaalal 0–100 pikkuse, sõnastuse ja mobiilis haaratavuse alusel ning näitab telefoni eelvaadet. MailerLite’i testija läheb kaugemale: kontrollib loetavust Flesch-Kincaidi skaalal, märgistab rämpsposti käivitavaid sõnu ning vaatab üle suurtähtede ja emotikonide kasutuse. Nelja tasuta testija ülevaade leidis, et hinded erinevad tööriistati märgatavalt. Seega annab rea läbimine kahest või kolmest hindajast enne lõplike variantide valimist tavaliselt rohkem kasutatavat tagasisidet kui ainult ühele toetumine.

Testijad jäävad hätta otsuste tegemisega. Nad ei saa öelda, kas sinu konkreetne sihtrühm klikib rohkem küsimustele või väidetele. Selle vastuse annab ainult tegelik saatmine. Mailchimpi Subject Line Helper püüab seda lünka täita, ühendades reaalajas hindamise sisseehitatud A/B-testi automaatikaga, nii et ideede loomine ja elluviimine toimuvad samas töövoos.

Tööriista valides kontrolli järgmist:

  • Juhuslik saatmisrühmade jaotus, mitte üksnes tähestikuline jagamine
  • Aruandlus eraldi avamiste, klikkide ja konversioonide kohta, mitte ainult avamised
  • Sisseehitatud tugi võitja saatmiseks ülejäänud nimekirjale, kui nimekiri on suur

Kuidas valida õige võidumõõdik?

Avamismäära on kõige lihtsam näha, kuid selle alusel tegutsemine on kõige vähem usaldusväärne. Apple’i Mail Privacy Protection ja sarnased funktsioonid võivad avamisi kunstlikult suurendada, mistõttu teemarida näib võitjana, kuigi see ei toonud käivet juurde.

Ausam järjestus on järgmine: kontaktivõtu- ja müügikirjade puhul on esikohal vastused või vestlused; e-kaubanduse ja käibepõhiste saatmiste puhul konversioonid; järgmisena klikid ning viimaks avamised, mis on parimal juhul suunanäitaja. Merge’i juhend rõhutab sama: vali kampaania tegeliku eesmärgiga seotud mõõdik, mitte see, mis juhtpaneelil kõige kiiremini uueneb.

E-kirja teemarea võidumõõdikute hierarhiaskeem

Avamistel on siiski oma koht. Need on kasulikud uudishimupõhiste lähenemiste testimisel või postkastis nähtavuse mõõtmisel, kui hilisemat tegevust pole jälgida, näiteks lingita lihttekstteates. Kui teemarea test suunab ostulehtrisse, võib üksnes avamiste põhjal hindamine viia klikimagneti optimeerimiseni, mis kunagi ei konverteeri.

Statistiline olulisus praktikas: enamik turundusmeeskondi ei tee formaalseid p-väärtuse arvutusi ja sa ei peagi. Lihtsam reegel töötab: oota, kuni igal variandil on sisuka valimi saamiseks piisavalt saatmisi, väiksemate mõjude puhul üldiselt mitusada avamist või klikki variandi kohta, ning ära kuuluta võitjat, kui vahe jääb igapäevasest kõikumisest oodatava müra sisse. Kui hilisema etapi mõõdik, näiteks klikid või konversioonid, pole avamiste stabiliseerumise ajaks stabiliseerunud, pikenda testi, mitte ära kuuluta võitu vara.

Teemaridade mallid ja testihüpoteesid, mida saad kasutada kohe

Mallid annavad lähtepunkti. Hüpoteesid ütlevad, mida sa tegelikult õppida püüad.

Kampaaniapakkumine: „Ainult 48 tundi: [X]% soodustust” võrreldes reaga „Sinu soodustus aegub peagi” testib otsest kiireloomulisuse sõnastust kaudse kiireloomulisuse vastu.Uudiskiri: „Selle nädala tähtsaim lugu” võrreldes reaga „3 asja, mis väärivad su aega” testib uudishimu loendiformaadi vastu.Hüljatud ostukorvi taastamine: „Jätsid midagi maha” võrreldes reaga „Mõtled ikka veel [toote nimi] peale?” testib isikupärastamist pehme meeldetuletuse vastu.Külm kontaktivõtt: „Kiire küsimus [ettevõtte] kohta” võrreldes reaga „[Nimi], nägin su postitust teemal [teema]” testib konkreetsust nimepõhise isikupärastamise vastu.

Lase esimesel 30 märgil põhitöö ära teha, sest mobiili postkastid kärbivad sageli ülejäänu. Seo teemarida eelvaatetekstiga, mis lisab uut infot, mitte ei korda sama rida sõna-sõnalt.

Sünteetilise sihtrühma testimise rakendamine teemarea valikul

Enne nimekirja mahu kulutamist päris A/B-testile võib tehisintellektiga simuleeritud persoonatagasiside aidata kitsendada kümme teemarea kandidaati kaheks, mida tasub tegelikult testida. See ei asenda päris saatmist, sest tegelikul sihtrühma käitumisel on endiselt viimane sõna, kuid lühendab ideede loomise tsüklit märgatavalt.

Loovlahenduse eeltestimine sünteetiliste persoonadega enne tegelikku saatmist aitab turundusmeeskondadel nõrgad lähenemised vara tabada. Sama põhimõte nagu reklaamiloovlahenduste testimisel enne avaldamist kehtib otseselt ka teemaridade ideede loomisel.

Suure kaaluga saatmiste, näiteks tootelansseerimiste ja suurte kampaaniate puhul annavad simulatsioon ning päris katse koos ülejäänud nimekirja hoidmisega nii kiiruse kui kindluse.

Kui kaua täielik teemarea test kestab?

Ühe muutujaga A/B-test aktiivses nimekirjas võtab seadistamisest põhjendatava vastuseni tavaliselt ühe kuni kaks nädalat. Täpne ajakava sõltub saatmissagedusest ja nimekirja suurusest.

Seadistamine ise, hüpoteesi kirjutamine, variantide koostamine ja jaotuse määramine, võtab tavaliselt alla tunni, kui tead juba, mida testid. Saatmise ja esmase kaasatuse aken, avamised ja klikid, selgineb tarbijakirjades üldiselt 24–48 tunniga, sest enamik kaasatust tekib esimesel päeval. Ajakava pikendavad hilisema etapi mõõdikud. Kui võidumõõdik on ost, vastus või demo broneerimine, pead andma selleks tegevuseks piisavalt aega. See võib tähendada kolme kuni seitsme lisapäeva ootamist, sõltuvalt tavalisest müügitsüklist või ostu kaalumise ajast.

Iganädalaste uudiskirjade või korduvkampaaniate puhul testivad paljud meeskonnad igal saatmisel üht teemarea muutujat ja koguvad õpitut kuu jooksul, selle asemel et suruda ühte tsüklisse üks lõplik test. See on sageli realistlikum kui püüda ühe nädalaga vaieldamatut statistilist olulisust saavutada, eriti alla 5000 kontaktiga nimekirjades, kus päevane maht piirab andmete kogumise kiirust.

Praktiline reegel: arvesta avamiste ja klikkide sarnaste kaasatusmõõdikute jaoks vähemalt ühe nädalaga ning pikemast kliendi otsustustsüklist sõltuva konversiooni või vastuse puhul kuni kahe-kolme nädalaga. Selle ajakava kiirustamine on kõige sagedasem põhjus, miks meeskonnad kuulutavad välja vale võitja.

Kuidas lugeda tulemusi avamismäärast kaugemale?

Avamismäär ütleb, kas teemarida sai tähelepanu. See ei ütle midagi selle kohta, kas tähelepanu muutus käibeks, vastusteks või väärtuslikuks kaasatuseks.

Alusta sama testi võidumõõdiku kõrvutamisest avamistega. Kui variandil A oli kõrgem avamismäär, aga variandil B kõrgem klikkimismäär, on see tegelik signaal, et A teemarida lubas liiga palju või tekitas uudishimu, mis ei sobinud kirja sisuga. Kontaktivõtus ja müügis kehtib sama loogika vastustele. Teemarida, mis toob avamisi, kuid vähe vastuseid, võib olla liiga ebamäärane või liiga nutikas, et saaja teaks, mida järgmiseks teha.

E-kaubanduse saatmiste puhul lisa klikkidele konversioonimäär ja keskmine tellimuse väärtus. Teemarida, mis toob rohkem klikke, kuid ostjate asemel lihtsalt uudistajaid, pole pealispindsest arvust kaugemale vaadates tegelikult parem. Jaga tulemused ka seadmetüübi järgi. Mobiili- ja töölauaavamised käituvad sageli erinevalt ning kuue tolli ekraanil hästi loetav teemarida võib töölaua eelvaates kohmakalt kärbitud saada.

Kõige kasulikum harjumus on pidada lihtsat logi: teemarida, hüpotees, võidumõõdik, tulemus ning üks lause selle kohta, miks see sinu arvates võitis või kaotas. Mõne kuuga saab sellest võrdlusdokument, mis ületab iga tulevase kampaania puhul oletamist. See harjumus tasub lisada igasse sõnumite testimise töövoogu, mida meeskond teiste loovformaatide jaoks juba kasutab.

Millised vead rikuvad enamiku teemaridade teste?

Kõige levinum viga on võitja liiga varajane väljakuulutamine, enne kui valim on juhusliku kõikumise välistamiseks piisavalt suur.

Kohe selle järel tuleb mitme muutuja korraga testimine. Muuda samas testis teemarida ja saatmisaega ning sa ei saagi teada, kumb tulemuse põhjustas. Veel üks sage viga on lasta nimekirjasegmentide erinevustel tulemust kallutada. Kui variant A satub meiliteenuse pakkuja jaotusviisi tõttu aktiivsemale segmendile, võib „võitja” mõõta lihtsalt sihtrühma, mitte teemarea kvaliteeti.

Jälgi eriti neid ohumärke:

  • Statistilise olulisuse kuulutamine enne, kui mõlemal variandil on sisukas valim
  • Testimine segmendis, mis on stabiilse signaali saamiseks liiga väike
  • Edu hindamine ainult avamismäära järgi, kui kampaania eesmärk on käive
  • Saatmisaja, saatja nime või kirja sisu muutmine koos teemareaga
  • Vanade „võitvate” valemite mitte kunagi uuesti kontrollimine, et näha, kas sihtrühma eelistused on muutunud

Viimane punkt loeb rohkem, kui enamik meeskondi mõistab. Kuus kuud tagasi võitnud teemarea stiil võib väsitada sihtrühma, kes on seda näinud sellest ajast igas kampaanias. Käsitle võitjaid perioodiliselt uuesti testitavate hüpoteeside, mitte püsireeglitena.

Millised näevad välja tegelikud teemarea testitulemused?

Konkreetsed enne-pärast näited muudavad eespool toodud abstraktsed nõuanded lihtsamini rakendatavaks. Võta ostukorvi taastamise jada, mille baasteemarida on „Lõpeta oma tellimus” ja väljakutsuja „[Eesnimi], sinu ostukorv ootab”. Kui isikupärastatud versioon tõstab klikkimismäära sisuka vahega, samas kui avamised jäävad ligikaudu samaks, näitab see selgelt, et isikupärastamine mõjutab tegevust, mitte üksnes uudishimu. Just selline tulemus tasub kirja panna ja uuesti kasutada.

Asi on selles, et kiireloomulisus üksi tegi juba töö ära ja lisadetail ei andnud sellele konkreetsele sihtrühmale täiendavat väärtust.

Käed paigutavad laual e-kirjakampaania kaarte

Külma kontaktivõtu test, mis võrdleb „Kiire küsimus” reaga „[Nimi], nägin su hiljutist postitust teemal [teema]”, näitab sageli vastupidist mustrit: sarnased avamismäärad, kuid isikupärastatud versioonil märgatavalt kõrgem vastamismäär, sest konkreetse ja asjakohase rea avanud saajad tunnevad tõenäolisemalt, et sellele tasub vastata.

Ükski neist mustritest pole universaalne. Oluline on, et iga näide seob teemarea muutuse kampaania tegelikku eesmärki peegeldava mõõdikuga ning dokumenteerib seejärel, miks tulemus tõenäoliselt tekkis. See harjumus, rohkem kui ükski mall, eristab pidevalt arenevaid meeskondi neist, kes jäävad oletama.

Muuda testimine korratavaks süsteemiks

Meeskonnad, kes parandavad meilide tulemuslikkust kvartalist kvartalisse, ei tee teistest rohkem teste. Nad teevad puhtamaid teste ja tegutsevad tulemuste põhjal, mitte ei tõsta neid riiulile.

Kui teemarea testimine on osa suuremast loovtestimise harjumusest, tasub sama distsipliini laiendamine reklaamiloovlahendustele end samamoodi ära: kõigepealt hüpotees, üks muutuja ja õige mõõdik. POPJAM rakendab seda loogikat reklaamiloovlahenduste loomisel ja testimisel, kasutades sünteetilise sihtrühma simulatsiooni, et leida päris kulutust väärivad ideed enne ühegi dollari käikulaskmist. Kui mõtled teemareast juba nii põhjalikult, laiendab tehisintellekti reklaamigeneraator sama avaldamiseelse testimise distsipliini ülejäänud kampaania loovlahendustele.

Miks testimisdistsipliin võidab testide hulka?

Enamik meeskondi, kes teemarea testimisega hätta jäävad, ei testi liiga vähe. Nad testivad lohakalt ja usaldavad seejärel arvu, mis poleks pidanud midagi otsustama.

Harjumus, mille kasu ajas koguneb, on lihtne: lõpeta avamismäära käsitlemine finišijoonena ning hakka iga testi koos hüpoteesi ja tulemusega kirja panema, olgu võit või kaotus, järgides meiliturunduse häid tavasid. Iganädalane viieteistminutiline ülevaatus sellest, mida testisid ja miks, on parem kui kaks korda rohkem teste ilma mäluta sellest, mis eelmisel kvartalil töötas.

Doruk

Allikad

Korduma kippuvad küsimused

Mis on e-kirja teemarea testimine?

See tähendab kahe või enama teemarea variandi võrdlemist tegeliku sihtrühmasegmendi peal, et näha, kumb toimib paremini valitud mõõdiku, näiteks avamiste, klikkide või konversioonide järgi. Korralik test eraldab ühe muutuja ja määrab võidumõõdiku enne käivitamist.

Milline on hea teemarida järelepärimiskirjale?

Lihtne ja otsene sõnastus töötab tavaliselt kõige paremini, näiteks „Uurin, kuidas [teema] edeneb” või „Kiire ülevaade: [projekti nimi]”. Väldi järelepärimistes ebamääraseid uudishimuvõtteid, sest saajad reageerivad paremini selgusele selle kohta, miks ühendust võtad.

Mis on e-kirja teemarea eelvaade?

Eelvaatetekst ehk eelpäise tekst on lühike katkend, mis ilmub postkastis teemarea kõrval või all, andes saajale enne avamist teise rea konteksti. Selle teemareaga sidumine sama sõnastuse kordamise asemel annab lugejale rohkem põhjust klikkida.

Milline on hea teemarida palvega e-kirjale?

Konkreetne, tegevusele suunatud sõnastus töötab hästi, näiteks „Väike teene: 2 minutit teemal [teema]” või „Vajan su sisendit [kuupäevaks]”. Täpse palve või tähtaja nimetamine teemareas vähendab ebaselgust ja kipub ebamääraste palvetega võrreldes vastamismäära parandama.

Kuidas mõõta teemarea testimise edu?

Edu sõltub kampaania eesmärgist: kontaktivõtu- ja müügikirjade puhul vastused või konversioonid, sisupõhistes kampaaniates klikid ning e-kaubanduse saatmistes konversioonid. Ainult avamismäärast piisab harva, sest see ei kinnita, et saaja tegi kampaania jaoks tegelikult vajaliku tegevuse.