Hoe werken de incrementaliteitsexperimenten?

Elk model in dit kenniscentrum (RFM, Product Ad Score, MMM, aankoopvoorspelling) is uiteindelijk een schatting op basis van historische data. Incrementaliteitsexperimenten zijn het enige onderdeel van Valtracs dat causaliteit daadwerkelijk toetst, niet alleen voorspelt.

De methode: synthetic control

Je kiest een regio (bijvoorbeeld een provincie of land) om tijdelijk uit te sluiten van een campagne -- de "holdout". Vervolgens bouwt Valtracs een synthetische versie van die regio: een gewogen combinatie van je overige, wél-blootgestelde regio's, gekozen zodat die combinatie in de periode vóór het experiment zo goed mogelijk het gedrag van de holdout-regio nabootst.

Na de experimentperiode wordt de werkelijke omzet in de holdout-regio vergeleken met wat de synthetische versie in diezelfde periode zou hebben gedaan als er niets veranderd was. Het verschil is de geschatte incrementele impact van de campagne -- omzet die je zonder de campagne niet zou hebben gehad.

Hoe je weet of het verschil echt is

Om te bepalen of een gevonden effect toeval kan zijn, past Valtracs een placebo-test toe (Abadie's methode, de gangbare aanpak in de wetenschappelijke literatuur rond synthetic control): dezelfde procedure wordt herhaald voor elke andere regio, alsof die regio zelf de holdout was geweest, terwijl die daadwerkelijk gewoon werd blootgesteld aan de campagne. Dit levert een verdeling van "nep-effecten" op die puur toeval vertegenwoordigen. Het werkelijke effect wordt tegen die verdeling afgezet om een betrouwbaarheidsinterval en significantie te bepalen -- in plaats van één enkel getal te presenteren zonder aan te geven hoe zeker je daarvan kan zijn.

Dit is bewust het zwaarste bewijsmiddel in het platform: waar de andere modellen zeggen "dit patroon lijkt hierop", zegt een geslaagd experiment "we hebben dit getest, en het verschil was echt".