https://abs.twimg.com/emoji/v2/... draggable="false" alt="🔥" title="Feuer" aria-label="Emoji: Feuer">https://abs.twimg.com/emoji/v2/... draggable="false" alt="👿" title="Teufelchen" aria-label="Emoji: Teufelchen">https://abs.twimg.com/emoji/v2/... draggable="false" alt="🔥" title="Feuer" aria-label="Emoji: Feuer"> New working paper alert! https://abs.twimg.com/emoji/v2/... draggable="false" alt="🔥" title="Feuer" aria-label="Emoji: Feuer">https://abs.twimg.com/emoji/v2/... draggable="false" alt="👿" title="Teufelchen" aria-label="Emoji: Teufelchen">https://abs.twimg.com/emoji/v2/... draggable="false" alt="🔥" title="Feuer" aria-label="Emoji: Feuer">
"Inferno: A guide to field experiments in online display advertising"
http://ssrn.com/abstract=3581396

THREAD:">https://ssrn.com/abstract=... This guide reviews challenges & solutions from a decade of research.
#marketingacad #econtwitter #fieldexperiments

“Abandon all hope, ye who enter here” - Dante’s Infernohttps://abs.twimg.com/emoji/v2/... draggable="false" alt="👿" title="Teufelchen" aria-label="Emoji: Teufelchen">
Online display ad experiments are hell. They are also a proving ground for field experimenters, & have much to teach us. The guide is organized into the nine 9 circles of https://abs.twimg.com/emoji/v2/... draggable="false" alt="🔥" title="Feuer" aria-label="Emoji: Feuer">hellhttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🔥" title="Feuer" aria-label="Emoji: Feuer"> as applied to #displayad #fieldexperiments

https://abs.twimg.com/emoji/v2/... draggable="false" alt="🔥" title="Feuer" aria-label="Emoji: Feuer">Circle 1https://abs.twimg.com/emoji/v2/... draggable="false" alt="🔥" title="Feuer" aria-label="Emoji: Feuer"> Display ad effects are so smallhttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🤏" title="Kneifende Hand" aria-label="Emoji: Kneifende Hand"> that observational methods failhttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🤦‍♀️" title="Frau schlägt sich die Hand vors Gesicht" aria-label="Emoji: Frau schlägt sich die Hand vors Gesicht">. Ad effects explain so little variation in ad outcomes, that they get swampedhttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🌊" title="Wasserwelle" aria-label="Emoji: Wasserwelle"> by unobserved confounds. Like Dante entering the infernohttps://abs.twimg.com/emoji/v2/... draggable="false" alt="👿" title="Teufelchen" aria-label="Emoji: Teufelchen">, we resign ourselves to the necessity of experiments.https://abs.twimg.com/emoji/v2/... draggable="false" alt="😭" title="Laut schreiendes Gesicht" aria-label="Emoji: Laut schreiendes Gesicht">https://abs.twimg.com/emoji/v2/... draggable="false" alt="😭" title="Laut schreiendes Gesicht" aria-label="Emoji: Laut schreiendes Gesicht">

https://abs.twimg.com/emoji/v2/... draggable="false" alt="🔥" title="Feuer" aria-label="Emoji: Feuer">Circle 2https://abs.twimg.com/emoji/v2/... draggable="false" alt="🔥" title="Feuer" aria-label="Emoji: Feuer"> Non-compliance is a problem.
ITT estimates are imprecise. Placebohttps://abs.twimg.com/emoji/v2/... draggable="false" alt="💊" title="Tablette" aria-label="Emoji: Tablette"> campaigns can recover ATET. BUT, placebos are often invalided because ad delivery algorithms match different types of users to the focal ad vs. placebo ad. New solutions: ghost adshttps://abs.twimg.com/emoji/v2/... draggable="false" alt="👻" title="Geist" aria-label="Emoji: Geist"> & tag campaigns.

https://abs.twimg.com/emoji/v2/... draggable="false" alt="🔥" title="Feuer" aria-label="Emoji: Feuer">Circle 3https://abs.twimg.com/emoji/v2/... draggable="false" alt="🔥" title="Feuer" aria-label="Emoji: Feuer"> Statistical powerhttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🔌" title="Elektrostecker" aria-label="Emoji: Elektrostecker"> is pure hellhttps://abs.twimg.com/emoji/v2/... draggable="false" alt="👿" title="Teufelchen" aria-label="Emoji: Teufelchen">.
Median sample sizes (Lewis & Rao & #39;15) required to reliably reject differences of:
https://abs.twimg.com/emoji/v2/... draggable="false" alt="🔼" title="Nach oben zeigendes Dreieck" aria-label="Emoji: Nach oben zeigendes Dreieck">100% ROI https://abs.twimg.com/emoji/v2/... draggable="false" alt="➡️" title="Pfeil nach rechts" aria-label="Emoji: Pfeil nach rechts"> 3.3M exposed users https://abs.twimg.com/emoji/v2/... draggable="false" alt="😱" title="Vor Angst schreiendes Gesicht" aria-label="Emoji: Vor Angst schreiendes Gesicht">https://abs.twimg.com/emoji/v2/... draggable="false" alt="😭" title="Laut schreiendes Gesicht" aria-label="Emoji: Laut schreiendes Gesicht">https://abs.twimg.com/emoji/v2/... draggable="false" alt="😱" title="Vor Angst schreiendes Gesicht" aria-label="Emoji: Vor Angst schreiendes Gesicht">
https://abs.twimg.com/emoji/v2/... draggable="false" alt="🔼" title="Nach oben zeigendes Dreieck" aria-label="Emoji: Nach oben zeigendes Dreieck">5% ROI https://abs.twimg.com/emoji/v2/... draggable="false" alt="➡️" title="Pfeil nach rechts" aria-label="Emoji: Pfeil nach rechts"> 1.3B exposed users https://abs.twimg.com/emoji/v2/... draggable="false" alt="🤬" title="Gesicht mit Symbolen über dem Mund" aria-label="Emoji: Gesicht mit Symbolen über dem Mund">https://abs.twimg.com/emoji/v2/... draggable="false" alt="😡" title="Schmollendes Gesicht" aria-label="Emoji: Schmollendes Gesicht">https://abs.twimg.com/emoji/v2/... draggable="false" alt="🤬" title="Gesicht mit Symbolen über dem Mund" aria-label="Emoji: Gesicht mit Symbolen über dem Mund">

https://abs.twimg.com/emoji/v2/... draggable="false" alt="🔥" title="Feuer" aria-label="Emoji: Feuer">Circle 4https://abs.twimg.com/emoji/v2/... draggable="false" alt="🔥" title="Feuer" aria-label="Emoji: Feuer"> Marginal effect of an ad is complex:
Users choose browsinghttps://abs.twimg.com/emoji/v2/... draggable="false" alt="👩‍💻" title="Woman technologist" aria-label="Emoji: Woman technologist"> intensity which limits ad frequency
Advertiser only controlhttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🎛️" title="Drehknöpfe" aria-label="Emoji: Drehknöpfe"> spendhttps://abs.twimg.com/emoji/v2/... draggable="false" alt="💰" title="Geldsack" aria-label="Emoji: Geldsack"> & frequency capshttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🧢" title="Kappe" aria-label="Emoji: Kappe">
https://abs.twimg.com/emoji/v2/... draggable="false" alt="🔄" title="Pfeile abwärts und aufwärts in offenem Kreis gegen den Uhrzeigersinn" aria-label="Emoji: Pfeile abwärts und aufwärts in offenem Kreis gegen den Uhrzeigersinn">Ad frequency affects ad outcomes affects ad frequencyhttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🔄" title="Pfeile abwärts und aufwärts in offenem Kreis gegen den Uhrzeigersinn" aria-label="Emoji: Pfeile abwärts und aufwärts in offenem Kreis gegen den Uhrzeigersinn">
Solution: Impression-level randomizationhttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🎲" title="Würfelspiel" aria-label="Emoji: Würfelspiel">

https://abs.twimg.com/emoji/v2/... draggable="false" alt="🔥" title="Feuer" aria-label="Emoji: Feuer">Circle 5https://abs.twimg.com/emoji/v2/... draggable="false" alt="🔥" title="Feuer" aria-label="Emoji: Feuer"> Identity fragmentation: People are broken into fragmented https://abs.twimg.com/emoji/v2/... draggable="false" alt="🆔" title="Quadratisches ID" aria-label="Emoji: Quadratisches ID"> by devices https://abs.twimg.com/emoji/v2/... draggable="false" alt="🖥️" title="Desktop-Computer" aria-label="Emoji: Desktop-Computer">https://abs.twimg.com/emoji/v2/... draggable="false" alt="📱" title="Mobiltelefon" aria-label="Emoji: Mobiltelefon"> & cookieshttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🍪" title="Keks" aria-label="Emoji: Keks">
We only observe fragmentshttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🧩" title="Puzzle piece" aria-label="Emoji: Puzzle piece"> of person’s total ad exposure & outcomes https://abs.twimg.com/emoji/v2/... draggable="false" alt="➡️" title="Pfeil nach rechts" aria-label="Emoji: Pfeil nach rechts"> ad effect estimates are biased (https://abs.twimg.com/emoji/v2/... draggable="false" alt="➕" title="Fettes Pluszeichen" aria-label="Emoji: Fettes Pluszeichen">OR https://abs.twimg.com/emoji/v2/... draggable="false" alt="➖" title="Dickes Minuszeichen" aria-label="Emoji: Dickes Minuszeichen">) https://abs.twimg.com/emoji/v2/... draggable="false" alt="🤯" title="Explodierender Kopf" aria-label="Emoji: Explodierender Kopf">https://abs.twimg.com/emoji/v2/... draggable="false" alt="🤬" title="Gesicht mit Symbolen über dem Mund" aria-label="Emoji: Gesicht mit Symbolen über dem Mund">
Solutions: Person-level https://abs.twimg.com/emoji/v2/... draggable="false" alt="🆔" title="Quadratisches ID" aria-label="Emoji: Quadratisches ID">, stratified aggregation

https://abs.twimg.com/emoji/v2/... draggable="false" alt="🔥" title="Feuer" aria-label="Emoji: Feuer">Circle 6https://abs.twimg.com/emoji/v2/... draggable="false" alt="🔥" title="Feuer" aria-label="Emoji: Feuer"> Market spillovershttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🌊" title="Wasserwelle" aria-label="Emoji: Wasserwelle">: Ad effect estimates also reflect ads shown to control grouphttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🤯" title="Explodierender Kopf" aria-label="Emoji: Explodierender Kopf">.
Solutions:
-When competing campaigns overlap, consider ad effects with & without competitorhttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🦹" title="Supervillain" aria-label="Emoji: Supervillain">
-ALWAYS Deactivate ownhttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🦸‍♂️" title="Man superhero" aria-label="Emoji: Man superhero"> non-experimental campaigns in the same marketplace

https://abs.twimg.com/emoji/v2/... draggable="false" alt="🔥" title="Feuer" aria-label="Emoji: Feuer">Circle 7https://abs.twimg.com/emoji/v2/... draggable="false" alt="🔥" title="Feuer" aria-label="Emoji: Feuer"> Frontier econometrics can help optimize ad incrementality: causal MLhttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🤖" title="Robotergesicht" aria-label="Emoji: Robotergesicht">, continuous timehttps://abs.twimg.com/emoji/v2/... draggable="false" alt="⏲️" title="Tischuhr" aria-label="Emoji: Tischuhr"> modelling, contextual banditshttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🎰" title="Spielautomat" aria-label="Emoji: Spielautomat">/Thompson samplinghttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🤹‍♀️" title="Jonglierende Frau" aria-label="Emoji: Jonglierende Frau">.
Destinationhttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🥇" title="Goldmedaille" aria-label="Emoji: Goldmedaille">: Estimate the expected incremental effect of each ad ( #attribution), to bid in real timehttps://abs.twimg.com/emoji/v2/... draggable="false" alt="⏲️" title="Tischuhr" aria-label="Emoji: Tischuhr">

https://abs.twimg.com/emoji/v2/... draggable="false" alt="🔥" title="Feuer" aria-label="Emoji: Feuer">Circle 8https://abs.twimg.com/emoji/v2/... draggable="false" alt="🔥" title="Feuer" aria-label="Emoji: Feuer"> Even more problemshttps://abs.twimg.com/emoji/v2/... draggable="false" alt="😢" title="Weinendes Gesicht" aria-label="Emoji: Weinendes Gesicht">: influential outliershttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🌠" title="Sternschnuppe" aria-label="Emoji: Sternschnuppe">, (incomplete) evolutionhttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🦕" title="Sauropode" aria-label="Emoji: Sauropode"> of ad metricshttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🖱️" title="Computer-Maus" aria-label="Emoji: Computer-Maus">, long runhttps://abs.twimg.com/emoji/v2/... draggable="false" alt="👵" title="Ältere Frau" aria-label="Emoji: Ältere Frau"> effects of ads have worse powerhttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🔌" title="Elektrostecker" aria-label="Emoji: Elektrostecker">, activityhttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🏃‍♀️" title="Läuferin" aria-label="Emoji: Läuferin"> bias, spillovers to household membershttps://abs.twimg.com/emoji/v2/... draggable="false" alt="👨‍👩‍👧‍👧" title="Normale Familie (Mann, Frau, Mädchen, Mädchen)" aria-label="Emoji: Normale Familie (Mann, Frau, Mädchen, Mädchen)">https://abs.twimg.com/emoji/v2/... draggable="false" alt="🏡" title="Haus mit Garten" aria-label="Emoji: Haus mit Garten">, lack of offlinehttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🌍" title="Europa-Afrika auf dem Globus" aria-label="Emoji: Europa-Afrika auf dem Globus"> ad & sales data, & untraceability of cashhttps://abs.twimg.com/emoji/v2/... draggable="false" alt="💵" title="Banknote mit Dollar-Zeichen" aria-label="Emoji: Banknote mit Dollar-Zeichen"> purchases.

https://abs.twimg.com/emoji/v2/... draggable="false" alt="🔥" title="Feuer" aria-label="Emoji: Feuer">Circle 9https://abs.twimg.com/emoji/v2/... draggable="false" alt="🔥" title="Feuer" aria-label="Emoji: Feuer"> Conclusion: Biologists learn a lot from thermophilic microbeshttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🦠" title="Microbe" aria-label="Emoji: Microbe"> living in temperatures up to 122°Chttps://abs.twimg.com/emoji/v2/... draggable="false" alt="🥵" title="Hot face" aria-label="Emoji: Hot face">. In the same way, online display adshttps://abs.twimg.com/emoji/v2/... draggable="false" alt="👿" title="Teufelchen" aria-label="Emoji: Teufelchen"> provide many lessons for field experimentershttps://abs.twimg.com/emoji/v2/... draggable="false" alt="👩‍🔬" title="Woman scientist" aria-label="Emoji: Woman scientist">. Research here is rapid, relevant, & exciting!https://abs.twimg.com/emoji/v2/... draggable="false" alt="😇" title="Lächelndes Gesicht mit Heiligenschein" aria-label="Emoji: Lächelndes Gesicht mit Heiligenschein">