Mesurer l’incrémentalité d’une campagne RTB avec holdout

Le vrai sujet n’est pas la conversion attribuée, mais la conversion causée

Une campagne RTB peut afficher un CPA séduisant, un ROAS positif et une courbe de conversions en hausse sans créer autant de valeur qu’elle le prétend. RTB, real-time bidding, désigne l’achat publicitaire aux enchères en temps réel, impression par impression, souvent opéré via une DSP, demand-side platform, plateforme qui permet d’acheter automatiquement des inventaires publicitaires sur plusieurs ad exchanges, SSP et publishers. Ce mode d’achat est puissant parce qu’il optimise très vite : audiences, contextes, enchères, formats, fréquence, devices, horaires. Mais cette vitesse crée aussi un risque majeur : confondre performance observée et impact incrémental.

L’attribution, méthode qui assigne une conversion ou une part de revenu à un ou plusieurs points de contact marketing, mesure surtout une proximité entre exposition et conversion. Elle ne prouve pas que la publicité a déclenché l’action. Une impression peut être servie à un utilisateur déjà décidé à acheter. Un clic peut intervenir après plusieurs visites organiques. Une campagne de retargeting peut capter des conversions qui auraient eu lieu sans publicité. Dans ces cas, le CPA, cost per action, coût par action ou coût par acquisition selon le contexte, est mécaniquement sous-estimé. Le ROAS, return on ad spend, ratio entre revenu attribué et dépenses publicitaires, est mécaniquement surestimé.

L’incrémentalité répond à une autre question : combien de conversions, de chiffre d’affaires, de marge ou de visites en magasin la campagne a-t-elle réellement ajoutés par rapport à un scénario sans exposition publicitaire ? Ce contrefactuel est impossible à observer directement pour un même individu au même moment. Il faut donc construire une expérience. Le holdout, groupe volontairement exclu de l’exposition publicitaire servant de témoin, est l’un des dispositifs les plus robustes pour le faire.

Pour les professionnels du marketing, la différence n’est pas académique. Elle change les arbitrages budgétaires. Une campagne RTB peut afficher 1 000 conversions attribuées à 20 euros de CPA, mais n’en générer que 300 réellement incrémentales. Le CPA incrémental n’est alors pas 20 euros, mais 66,70 euros. Si la marge contributionnelle par conversion est de 45 euros, la campagne que le dashboard présentait comme rentable détruit de la valeur. À l’inverse, une campagne de prospection display peut sembler faible en last-click, dernier point de contact avant conversion, mais produire un uplift réel sur des audiences nouvelles. Le pilotage par incrémentalité permet de distinguer capture de demande et création de demande.

Définir précisément ce que l’on veut mesurer avant de créer le holdout

La première erreur consiste à lancer un test d’incrémentalité sans définir l’unité économique à mesurer. Une campagne RTB peut poursuivre plusieurs objectifs : acquisition de nouveaux clients, réactivation, augmentation du panier, visite en magasin, téléchargement d’application, génération de lead, progression dans le funnel, entonnoir de conversion allant de l’exposition à l’acquisition, puis à l’activation, la rétention et le revenu. Le holdout doit être construit autour d’un objectif primaire, pas autour d’une collection d’indicateurs opportunistes.

Le choix de la métrique dépend du business model. En e-commerce, on peut mesurer les commandes, le revenu net, la marge ou le taux de nouveaux clients. En SaaS B2B, on mesurera rarement le revenu signé à court terme ; il faudra suivre les MQL, marketing qualified leads, leads jugés suffisamment qualifiés pour être travaillés, les SQL, sales qualified leads, leads acceptés par les ventes, puis les opportunités créées. En retail, la métrique peut être une visite en magasin dédupliquée ou un achat caisse rattaché à une exposition publicitaire. En application mobile, on distinguera installation, activation, premier achat et rétention à J+7 ou J+30.

La granularité est tout aussi décisive. Mesurer uniquement les conversions totales peut masquer des effets divergents. Une campagne peut être incrémentale sur les nouveaux clients, neutre sur les clients existants et négative sur les paniers moyens si elle attire des acheteurs très promotionnels. Elle peut être efficace sur mobile mais non incrémentale sur desktop. Elle peut générer des ventes additionnelles dans les zones où la marque est peu connue et ne faire que cannibaliser l’organique dans les zones matures. Avant le test, il faut donc définir les segments d’analyse : nouveaux versus récurrents, prospecting versus retargeting, zones géographiques, catégories produit, niveau d’intention, exposition mono-device ou cross-device.

Un cadre simple consiste à formuler l’hypothèse ainsi : exposer cette population à cette campagne RTB pendant cette période doit augmenter cette métrique de ce niveau minimal, avec ce coût maximal acceptable. Exemple : sur les visiteurs non acheteurs des 30 derniers jours, une campagne de retargeting dynamique doit augmenter le taux de commande à 14 jours d’au moins 8 % par rapport au groupe témoin, avec un coût par commande incrémentale inférieur à 35 euros. Cette formulation oblige à clarifier la population, la fenêtre de mesure, la métrique, l’effet minimal détectable et le seuil économique.

Le seuil économique est souvent négligé. Or un uplift statistiquement significatif peut rester insuffisant économiquement. Si une campagne augmente les conversions de 2 % mais nécessite une pression média élevée, le coût incrémental peut dépasser la marge générée. À l’inverse, un uplift modéré sur un segment à forte valeur vie client peut justifier un investissement élevé. L’incrémentalité doit donc être reliée à la marge, au payback period, délai nécessaire pour récupérer le coût d’acquisition, et à la LTV, lifetime value, valeur économique totale attendue d’un client sur sa durée de relation.

Construire le holdout : randomisation, taille d’échantillon et étanchéité

Un holdout robuste commence par une randomisation. La randomisation consiste à répartir aléatoirement une population éligible entre un groupe exposable et un groupe témoin non exposé. Sans tirage aléatoire, le test risque de comparer des populations différentes : les utilisateurs les plus actifs d’un côté, les plus dormants de l’autre ; les zones urbaines d’un côté, les zones rurales de l’autre ; les clients à forte intention d’un côté, les faibles signaux de l’autre. Dans ce cas, l’écart observé peut venir du biais de sélection, pas de la publicité.

Dans un environnement RTB, plusieurs méthodes existent. La plus propre est un user-level holdout : une part des utilisateurs ou identifiants éligibles est exclue de la diffusion via la DSP ou via une liste d’exclusion synchronisée. Par exemple, 90 % de l’audience est rendue disponible à l’achat média, 10 % est bloquée et sert de groupe témoin. Cette approche est pertinente pour des audiences CRM, des visiteurs site, des utilisateurs app ou des segments construits par first-party data. Elle nécessite une bonne gestion des identifiants : cookies, mobile advertising IDs, hashed emails, server-side audiences ou clean rooms selon les contraintes.

Lorsque l’identification utilisateur est fragile, un geo-holdout peut être plus fiable. Il consiste à exposer certaines zones géographiques et à en conserver d’autres comparables comme témoins. Cette méthode est utile pour des campagnes drive-to-store, branding local ou retail media. Elle limite les problèmes de cookie deletion et de cross-device, mais introduit d’autres contraintes : les zones doivent être comparables en historique de ventes, saisonnalité, pression concurrentielle, densité média, météo, promotions et distribution physique. Un geo-test mal apparié peut produire une illusion d’uplift simplement parce que les zones exposées étaient déjà en croissance.

La taille d’échantillon doit être calculée avant le test. Trop d’équipes lancent un holdout de 5 % par habitude, puis découvrent que le volume de conversions dans le groupe témoin est trop faible pour conclure. Le minimum detectable effect, effet minimal détectable, dépend du taux de conversion de base, de la taille des groupes, de la variance et du niveau de confiance recherché. Plus l’effet attendu est faible, plus il faut de volume. Si le taux de conversion naturel est de 2 % et que l’on veut détecter un uplift relatif de 5 %, il faudra beaucoup plus d’observations que pour détecter un uplift de 25 %. Pour des campagnes à faible volume, mieux vaut parfois augmenter la part holdout, allonger la durée ou mesurer une métrique plus amont.

L’étanchéité du test est une autre condition critique. Le groupe témoin ne doit pas recevoir la campagne testée, mais il peut être exposé à d’autres canaux : search brand, email, social paid, affiliation, organic, CRM. Ce n’est pas forcément un problème si ces expositions sont équilibrées entre groupes. En revanche, si le groupe exposé reçoit aussi une promotion email ou une pression commerciale spécifique, l’effet RTB devient impossible à isoler. Il faut donc documenter les autres activations pendant la période et, si possible, éviter les changements majeurs : soldes, refonte de prix, lancement produit, TV nationale ou campagne influence massive.

Enfin, le test doit gérer la fréquence. Une campagne RTB peut être peu incrémentale à faible fréquence et saturante à forte fréquence. Mesurer uniquement exposé versus non exposé peut masquer une courbe de rendement décroissant. Il est utile d’analyser l’uplift par classes d’exposition : 1 à 2 impressions, 3 à 5, 6 à 10, plus de 10, en restant prudent sur les biais. Les utilisateurs qui reçoivent plus d’impressions ne sont pas toujours comparables aux autres, car la DSP les retrouve plus facilement ou les juge plus enchérissables. Mais cette lecture aide à calibrer les caps de fréquence et à éviter la surpression.

Calculer l’uplift et le CPA incrémental sans se laisser piéger par les moyennes

Le calcul de base est simple : comparer le taux de conversion du groupe exposable au taux de conversion du groupe holdout, puis appliquer l’écart à la population exposable. Supposons une audience de 1 000 000 d’utilisateurs éligibles, répartie en 900 000 exposables et 100 000 holdout. Sur 14 jours, le groupe exposable génère 24 300 conversions, soit un taux de 2,70 %. Le groupe holdout génère 2 400 conversions, soit un taux de 2,40 %. L’uplift absolu est de 0,30 point. L’uplift relatif est de 12,5 %. Les conversions incrémentales estimées dans le groupe exposable sont 900 000 x 0,30 %, soit 2 700 conversions.

Si la campagne a coûté 81 000 euros, le CPA attribué peut sembler très bon si la DSP revendique 8 100 conversions post-view et post-click : 10 euros. Mais le CPA incrémental est 81 000 euros divisés par 2 700 conversions, soit 30 euros. La différence est centrale. Le premier chiffre mesure les conversions associées à des expositions selon une règle d’attribution. Le second estime les conversions additionnelles causées par la campagne. Pour arbitrer le budget, c’est le second qui doit dominer.

Le même raisonnement s’applique au ROAS. Si les 8 100 conversions attribuées génèrent 486 000 euros de chiffre d’affaires, le ROAS attribué est de 6. Mais si seules 2 700 conversions sont incrémentales avec un panier moyen de 60 euros, le revenu incrémental est 162 000 euros et le ROAS incrémental est 2. Si la marge brute est de 45 %, la contribution brute incrémentale est 72 900 euros, inférieure au coût média. La campagne est déficitaire avant même d’intégrer les coûts de création, tracking, adserving ou équipes.

Il faut toutefois éviter une lecture trop globale. Une campagne peut avoir un ROAS incrémental moyen de 2 et cacher un segment à 5 et un autre à 0,8. Les analyses par segment sont indispensables : type d’audience, fenêtre de recence, catégorie produit, device, géographie, créa, format, inventaire, heure, fréquence. Mais il faut garder une discipline statistique : plus on multiplie les découpes, plus le risque de faux positifs augmente. Une bonne pratique consiste à définir les segmentations prioritaires avant le test, puis à traiter les analyses exploratoires comme des hypothèses à valider dans un second test.

La fenêtre d’observation influence fortement les résultats. Une campagne de retargeting e-commerce peut produire l’essentiel de son effet en 24 à 72 heures. Une campagne de prospection programmatique peut influencer des conversions à 14 ou 30 jours. Une campagne B2B peut surtout créer des visites, des inscriptions webinar ou des demandes de contenu avant de générer du pipeline plus tard. Choisir une fenêtre trop courte pénalise les campagnes de création de demande. Choisir une fenêtre trop longue ajoute du bruit et augmente le risque de capter des conversions non liées à l’exposition. Il est souvent pertinent de suivre plusieurs horizons : J+1, J+7, J+14, J+30, puis de décider quel horizon sert au pilotage économique.

Enfin, l’uplift doit être interprété avec son intervalle de confiance. Un résultat du type plus 9 % ne signifie pas que l’effet réel est exactement 9 %. Selon la taille de l’échantillon, l’intervalle peut être large : par exemple entre plus 1 % et plus 17 %. Dans ce cas, la décision dépend du risque acceptable. Une équipe finance demandera peut-être une preuve plus stricte avant d’augmenter le budget. Une équipe growth peut accepter un test de scaling contrôlé si le scénario bas reste économiquement neutre. La rigueur ne consiste pas à chercher une certitude absolue, mais à rendre explicite le niveau d’incertitude.

Adapter le design selon le type de campagne RTB : prospection, retargeting et drive-to-store

Toutes les campagnes RTB ne se testent pas de la même manière. Le retargeting, reciblage publicitaire d’utilisateurs ayant déjà interagi avec la marque, est souvent le plus exposé à la sur-attribution. Les utilisateurs retargetés ont déjà montré une intention : visite produit, ajout panier, consultation pricing, abandon formulaire. Une partie importante aurait converti sans publicité. Le holdout y est particulièrement utile. Il peut révéler que 60 % à 80 % des conversions attribuées au retargeting sont en réalité non incrémentales sur certaines fenêtres de recence très chaudes.

Exemple : une marque e-commerce retargete les abandons panier des 24 dernières heures. La campagne affiche un ROAS attribué de 18. Un holdout de 20 % montre que le taux de conversion naturel des abandons panier est déjà de 21 %, contre 24 % dans le groupe exposable. L’uplift relatif est de 14,3 %, mais l’incrémentalité réelle est bien plus faible que le reporting plateforme. La décision n’est pas nécessairement de couper le retargeting. Elle peut être de réduire les enchères sur les fenêtres très chaudes, plafonner la fréquence, exclure les paniers à faible marge et déplacer une partie du budget vers des visiteurs plus froids où l’uplift relatif est supérieur.

La prospection, acquisition d’utilisateurs qui n’ont pas encore interagi avec la marque ou qui ne sont pas dans les audiences récentes, pose un autre problème. L’effet immédiat peut être faible, mais la campagne peut augmenter les recherches de marque, les visites directes, les inscriptions newsletter ou les conversions assistées. Un holdout utilisateur fonctionne si l’audience est identifiable, mais un geo-test ou un test par cohortes peut être plus adapté pour mesurer des effets amont. Il faut aussi éviter de juger la prospection avec la même fenêtre que le retargeting. Une campagne display vidéo ou native peut influencer le funnel sur 30 jours, pas seulement sur la session.

Pour le drive-to-store, la mesure est encore plus délicate. Le drive-to-store désigne les dispositifs publicitaires visant à générer des visites physiques en point de vente. Le RTB peut cibler des zones de chalandise, des comportements mobiles, des contextes locaux ou des audiences affinées. Le holdout peut être géographique ou utilisateur. La mesure repose souvent sur des données de mobilité, de caisse ou de carte de fidélité. Chaque source a ses limites : précision GPS, panels non représentatifs, déduplication imparfaite, match rate entre exposition et achat, délais de remontée.

Un cas typique : une enseigne active 120 magasins avec une campagne programmatique locale et garde 40 magasins comparables en holdout. Avant campagne, les magasins test génèrent en moyenne 1 000 visites hebdomadaires et les magasins témoins 980, avec une tendance proche. Pendant quatre semaines, les magasins test progressent à 1 080 visites, les témoins à 1 000. La différence brute est plus 80 visites côté test, mais l’évolution naturelle observée côté témoin est plus 20. L’uplift incrémental estimé est donc plus 60 visites par magasin et par semaine. Si la dépense média est de 96 000 euros pour 120 magasins sur quatre semaines, et que l’uplift total est 28 800 visites, le coût par visite incrémentale est 3,33 euros. La décision dépend ensuite du taux de conversion magasin, du panier moyen et de la marge.

Dans tous les cas, le design doit être cohérent avec le rôle de la campagne. Le retargeting se prête à des holdouts courts et très contrôlés. La prospection demande souvent des fenêtres plus longues et des signaux intermédiaires. Le drive-to-store exige des groupes géographiques comparables et une attention aux facteurs externes. Appliquer un modèle unique à toutes les campagnes RTB conduit à des conclusions trop rapides.

Réconcilier incrémentalité, attribution et optimisation algorithmique

Mesurer l’incrémentalité ne signifie pas abandonner l’attribution. Les deux répondent à des questions différentes. L’attribution est utile pour l’optimisation opérationnelle quotidienne : quelles créations génèrent des clics, quels inventaires produisent des conversions observables, quelles audiences réagissent, quelles enchères dégradent le CPA attribué. L’incrémentalité sert à calibrer la vérité économique : quelle part de cette performance est réellement additionnelle. Le problème apparaît lorsque l’attribution devient le seul juge de l’allocation budgétaire.

Les algorithmes des DSP optimisent sur les signaux qu’on leur fournit. Si l’événement de conversion est une commande brute, l’algorithme cherchera les impressions corrélées aux commandes, pas nécessairement celles qui les causent. Il peut donc surpondérer les audiences faciles : visiteurs récents, clients fidèles, requêtes de marque indirectes, inventaires proches de la conversion. Pour corriger cela, il faut remonter des signaux plus qualitatifs : nouveaux clients, marge positive, panier net de remises, absence de retour, visite incrémentale, lead qualifié ou deuxième achat. Plus le signal envoyé reflète la valeur économique, moins l’algorithme optimise vers du bruit.

Une approche avancée consiste à utiliser les résultats de holdout pour créer des coefficients d’incrémentalité par segment. Par exemple, le retargeting visiteurs produit J-1 peut avoir un taux d’incrémentalité de 25 %, les visiteurs J-7 de 45 %, les abandons panier de 18 %, la prospection lookalike de 65 %, le contexte affinitaire de 40 %. Ces coefficients permettent de recalculer un ROAS ajusté ou de pondérer les conversions importées dans les plateformes. Il ne faut pas les traiter comme permanents : ils évoluent avec la saison, la pression média, la concurrence, la notoriété, les promotions et la qualité créative.

Il faut également surveiller l’effet de substitution entre canaux. Une campagne RTB peut augmenter les conversions attribuées au display tout en diminuant les conversions attribuées au search brand ou à l’email. Ce n’est pas forcément négatif si le total incrémental progresse. Mais si le RTB capte simplement une conversion qui serait venue via un canal moins coûteux, la contribution nette est faible. Le holdout doit donc être analysé en conversion totale, pas seulement en conversions attribuées au RTB. L’enjeu est le business incrémental, pas la part de crédit gagnée par un canal.

La réconciliation avec les MMM, marketing mix models, modèles statistiques qui estiment la contribution des leviers marketing à partir de séries temporelles agrégées, peut renforcer la décision. Le holdout est très robuste localement, sur une campagne, une audience ou une période. Le MMM donne une vision plus macro, intégrant TV, search, social, prix, promotions, saisonnalité. Les deux approches peuvent se compléter. Si les holdouts RTB montrent un uplift modéré mais que le MMM confirme une contribution display positive sur plusieurs trimestres, l’équipe peut maintenir le levier en l’optimisant. Si les deux convergent vers une faible contribution, il faut réduire ou restructurer.

Éviter les biais fréquents qui rendent un holdout inexploitable

Le premier biais est la contamination du groupe témoin. Elle survient lorsque des utilisateurs censés être exclus voient quand même la campagne via un autre identifiant, un autre device, une autre DSP ou un autre partenaire. Dans un monde post-cookie, cette contamination est difficile à éliminer. Elle réduit généralement l’écart entre exposés et témoins, donc sous-estime l’uplift. Il faut limiter ce risque par une bonne gouvernance des audiences, une centralisation des exclusions et une documentation des partenaires activés.

Le deuxième biais est le non-respect du protocole en cours de test. Modifier les enchères, ajouter des audiences, changer fortement les créas ou lancer une promotion commerciale au milieu de l’expérience complique l’interprétation. Cela ne signifie pas qu’il faut figer toute optimisation, mais les changements doivent être tracés. Pour un test critique, il est préférable de stabiliser la campagne pendant une fenêtre courte plutôt que d’optimiser agressivement et de rendre le résultat illisible.

Le troisième biais est la comparaison de mauvais dénominateurs. Certains reportings comparent les conversions des utilisateurs effectivement exposés aux conversions des holdouts. Or les utilisateurs exposés ne sont pas équivalents aux utilisateurs exposables : la DSP ne parvient pas à acheter toutes les impressions, certains profils sont plus disponibles, certains coûtent plus cher, certains sont davantage connectés. Pour mesurer l’effet d’une stratégie média, il est souvent plus rigoureux de comparer le groupe assigné à l’exposition au groupe assigné au holdout, selon une logique intention-to-treat, c’est-à-dire en analysant les populations selon leur assignation initiale. Une analyse per-protocol, limitée aux réellement exposés, peut être utile mais plus biaisée.

Le quatrième biais est l’oubli de la saisonnalité et des événements externes. Un test pendant le Black Friday, une période de soldes ou un lancement produit ne se généralise pas forcément. L’incrémentalité du RTB peut être plus faible lorsque la demande naturelle explose, ou plus forte lorsque la concurrence publicitaire est intense et que la visibilité devient critique. Les résultats doivent être datés et contextualisés.

Le cinquième biais est l’interprétation binaire. Un holdout ne dit pas seulement couper ou scaler. Il peut indiquer restructurer. Une campagne non incrémentale globalement peut être utile sur certaines audiences. Une campagne incrémentale peut rester trop chère. Une campagne rentable peut créer une fatigue de marque si la fréquence est excessive. Le test doit alimenter des décisions de budget, mais aussi de ciblage, de créa, de fréquence, de fenêtre d’attribution et de signal d’optimisation.

Conclusion : faire du holdout un instrument de pilotage, pas un audit ponctuel

Mesurer l’incrémentalité d’une campagne RTB avec holdout revient à remplacer une question de reporting par une question de causalité. Le reporting demande combien de conversions la plateforme revendique. Le holdout demande combien de conversions la campagne a réellement ajoutées. Pour des budgets programmatiques significatifs, cette différence peut représenter des dizaines de points de ROAS et modifier radicalement l’allocation entre retargeting, prospection, search, CRM, affiliation ou retail media.

Une méthode actionnable peut se résumer en sept décisions. Premièrement, définir la métrique économique primaire : conversion, revenu net, marge, visite, lead qualifié ou opportunité. Deuxièmement, choisir le bon design : holdout utilisateur, holdout géographique ou cohorte appariée selon la qualité des identifiants et l’objectif. Troisièmement, calculer la taille d’échantillon et l’effet minimal détectable avant le lancement. Quatrièmement, garantir l’étanchéité du protocole : exclusions, stabilité des activations, documentation des changements. Cinquièmement, comparer les groupes sur les conversions totales et non uniquement sur les conversions attribuées au RTB. Sixièmement, convertir l’uplift en CPA incrémental, ROAS incrémental et contribution marge. Septièmement, réinjecter les enseignements dans l’optimisation : audiences, fréquence, créas, enchères, événements de conversion et allocation budgétaire.

Le holdout n’est pas parfait. Il coûte du volume, introduit une zone non exposée, demande de la discipline statistique et reste sensible aux problèmes d’identifiants. Mais son intérêt est précisément de créer une tension utile dans les organisations marketing : accepter de perdre une partie de la diffusion immédiate pour gagner une lecture plus fiable de la valeur. Dans un environnement où les plateformes optimisent toujours mieux la conversion observable, les équipes avancées doivent apprendre à mesurer la conversion causée.

Le RTB reste un levier puissant lorsqu’il est piloté avec des signaux économiques solides. Il devient dangereux lorsqu’il est jugé uniquement sur des conversions post-view, des fenêtres d’attribution généreuses ou des CPA moyens. La maturité consiste à ne plus demander si la campagne convertit, mais si elle convertit davantage que ce qui se serait produit sans elle, à quel coût, sur quels segments et avec quelle marge future. C’est cette réponse, et non le dernier dashboard plateforme, qui devrait décider du prochain euro investi.