Le même canal publicitaire, chez le même annonceur, sur la même période : un retour sur investissement supérieur à 4 100 % calculé par la méthode habituelle, et de moins 63 % mesuré par l’expérience contrôlée.
Le chiffre vient de l’expérience conduite par la place de marché eBay et publiée à Econometrica en 2015. Les auteurs écrivent : « nous calculons le retour sur investissement par les méthodes de moindres carrés habituelles, qui aboutissent à un retour supérieur à 4 100 % sans contrôles temporels et géographiques, et supérieur à 1 400 % avec de tels contrôles. Nous utilisons ensuite nos méthodes expérimentales, qui contrôlent l’endogénéité, pour trouver un retour de moins 63 %, avec un intervalle de confiance à 95 % de [−124 %, −3 %], rejetant l’hypothèse que ce canal produise le moindre rendement positif. »
Ce n’est pas un désaccord entre outils. C’est la différence entre deux questions. L’attribution demande à quelle campagne créditer une vente qui a eu lieu. L’incrémentalité demande si cette vente aurait eu lieu sans la campagne. Cet article explique comment on répond à la seconde, ce que cela coûte, et ce qui reste faisable pour une entreprise qui ne dépense pas des millions.
Deux questions qu’on confond tout le temps
L’attribution répartit des conversions déjà survenues entre des points de contact. L’incrémentalité établit si ces conversions seraient survenues sans la dépense. Aucun réglage d’attribution, aussi sophistiqué soit-il, ne répond à la seconde question, parce qu’il ne dispose d’aucune observation de ce qui se serait passé autrement.
La différence n’est pas théorique, elle se chiffre. Sur les mots-clés de marque, l’expérience eBay a consisté à éteindre les annonces sur deux moteurs en les maintenant sur un troisième, qui servait de groupe témoin. Résultat : 99,5 % du trafic de clics abandonné a été immédiatement récupéré par le référencement naturel de la même plateforme. Les annonces achetaient un trafic qui arrivait de toute façon.
Notre article sur les divergences entre GA4, Meta et le CRM traite du désaccord entre outils d’attribution. Le sujet ici est différent et plus embarrassant : même si vos trois outils tombaient d’accord au chiffre près, ils mesureraient tous la même chose, et ce ne serait toujours pas l’effet de votre publicité.
Pourquoi couper une campagne ne suffit pas
C’est le réflexe le plus naturel et le plus trompeur : arrêter la campagne, regarder ce qui se passe, comparer avec le mois précédent. Le problème n’est pas l’idée, il est bon. Le problème est l’absence de témoin.
L’expérience eBay fournit la démonstration la plus propre disponible, parce qu’elle donne les deux lectures du même événement.
Sans groupe témoin, la simple comparaison avant et après l’extinction des annonces affiche 5,6 % de clics en moins. Les auteurs commentent : « cette simple comparaison avant-après ignore le caractère saisonnier des ventes, ce qui peut fausser ses conclusions ».
Avec groupe témoin, en différence de différences contre le moteur où les annonces continuaient de tourner, il ne reste que 0,529 % de clics perdus.
Un facteur dix entre deux lectures du même arrêt, sur les mêmes données. L’écart, c’est la saisonnalité, c’est-à-dire tout ce qui bouge dans votre marché pour des raisons qui n’ont rien à voir avec votre publicité.
Trois autres limites de l’arrêt simple méritent d’être connues.
La substitution vers d’autres canaux est invisible. Les auteurs eux-mêmes précisent que leur chiffre est une borne basse, parce qu’une partie du trafic disparu se reporte peut-être vers une saisie directe de l’adresse. Un arrêt de campagne compte ce report comme une perte, ou ne le voit pas.
Les effets différés faussent la lecture. Une analyse de 432 expériences menées sur le réseau display de Google, publiée par Johnson, Lewis et Nubbemeyer en 2017, mesure un effet résiduel quatre semaines après la fin des campagnes. Un arrêt trop court sous-estime l’effet, et un arrêt qui reprend trop vite contamine sa propre période de référence.
La latence de conversion coûte cher. Google chiffre le problème sur sa propre documentation : jusqu’à 17 % d’effet mesuré en moins pour les études dont le délai de conversion est long et qui durent moins de quatorze jours.
Le test géographique, et ses cinq conditions
La méthode de référence est publiée depuis quinze ans, par deux chercheurs de Google, dans un papier accessible librement. Le principe : « des régions géographiques ne se chevauchant pas sont assignées au hasard à une condition de contrôle ou de traitement, et chaque région réalise sa condition assignée au moyen d’une diffusion publicitaire ciblée géographiquement ».
Cinq conditions de validité en découlent, et chacune se vérifie avant de lancer quoi que ce soit.
Vous devez pouvoir diffuser à l’échelle de la zone. La plateforme doit savoir restreindre la diffusion aux zones choisies avec une précision raisonnable. C’est le cas sur les grandes régies, ce ne l’est pas partout.
Vous devez pouvoir mesurer à l’échelle de la zone. Il faut rattacher la dépense et le résultat à chaque zone. Pour une entreprise qui vend en ligne avec une adresse de livraison, c’est simple. Pour une entreprise dont les affaires se signent au téléphone sans code postal enregistré, c’est le point bloquant.
Les zones doivent être tirées au sort, pas appariées à la main. Les auteurs sont explicites : « la randomisation est une composante importante d’une expérience réussie car elle protège contre d’éventuels biais cachés ». Choisir soi-même quelles villes on coupe est la façon la plus sûre de fabriquer un résultat. Ils précisent aussi qu’un regroupement préalable des zones par taille réduit l’intervalle de confiance de 10 % ou plus.
Les zones doivent être assez grandes. Le papier prévient qu’il n’est généralement pas envisageable d’utiliser des zones aussi petites qu’un code postal, parce que les gens se déplacent d’une zone à l’autre et emportent leur exposition publicitaire avec eux.
Une période préparatoire est obligatoire. Avant le test, les deux groupes doivent tourner strictement à l’identique : mêmes enchères, mêmes mots-clés, mêmes créations. C’est cette période qui établit la ligne de base sans laquelle la comparaison ne veut rien dire.
Ce que les plateformes proposent, et à qui
Les deux grandes régies proposent un outil de mesure d’incrémentalité. Leurs conditions d’accès sont très différentes, et l’une des deux est nettement plus honnête que l’autre sur ce point.
Meta publie ses seuils, et ils sont atteignables. La documentation officielle indique qu’un test de mesure de l’incrémentalité suppose une campagne lancée dans l’année écoulée ayant dépensé au moins 5 000 dollars et enregistré au moins 500 conversions, ces critères étant calculés au prorata pour les campagnes de plus de quatre-vingt-dix jours. Le test lui-même n’entraîne aucun frais supplémentaire.
S’y ajoute une exigence de qualité de signal, et elle est déterminante en France. Le compte doit avoir adopté l’API de conversions et envoyer des événements dont le score de qualité de correspondance dépasse 5. La voie alternative, qui consiste à envoyer un événement de bas de tunnel par une autre source, est explicitement fermée aux annonceurs ciblant principalement les pays soumis à la directive vie privée et communications électroniques. Autrement dit : en France, il faut l’API de conversions. Notre article sur le pixel et l’API de conversions détaille ce que cela suppose.
Google annonce une démocratisation que sa documentation contredit. En novembre 2025, Google a publié une note affirmant abaisser le seuil des expériences d’incrémentalité : « ce qui pouvait coûter plus de 100 000 dollars pour une seule expérience peut désormais se faire pour 5 000 dollars ». Dans le même temps, ses pages produit consacrées à la mesure d’incrémentalité portent toutes la même phrase en tête : la fonctionnalité n’est pas disponible pour tous les comptes, et il faut contacter son représentant Google pour l’utiliser.
Pour une PME française, qui n’a pas de représentant Google, la porte reste donc fermée dans les faits, quel que soit le seuil budgétaire annoncé. C’est un point à connaître avant de fonder un plan de mesure sur une annonce de presse.
À ne pas confondre avec les expériences de campagne. Google propose en libre-service des expériences qui comparent deux réglages de campagne entre eux. Elles sont utiles, mais elles ne mesurent pas l’incrémentalité : il n’y a aucun groupe privé de publicité. C’est la confusion la plus fréquente sur le sujet.
Ce que ça donne quand on le fait vraiment, à très grande échelle
Une objection revient : avec assez de données et de bons modèles, ne peut-on pas s’épargner l’expérience ? La question a été tranchée, et la réponse est non.
Gordon, Moakler et Zettelmeyer ont analysé 663 expériences menées sur Facebook, avec accès à plus de 5 000 variables au niveau de l’utilisateur. Ils écrivent eux-mêmes que « ces données sont plus riches que ce à quoi la plupart des annonceurs ou de leurs partenaires de mesure peuvent accéder ». L’expérience médiane portait sur environ 7,3 millions d’utilisateurs pendant trente jours. Travail accessible en prépublication, publié au Marketing Science.
Leur résultat sur le bas du tunnel, c’est-à-dire l’achat : l’effet réel médian est de 5 %. Les mêmes campagnes évaluées par apprentissage automatique double en affichent 24 %, et par appariement 64 %.
Leur conclusion mérite d’être lue littéralement : « globalement, malgré un accès à des expériences à grande échelle et à des données utilisateur riches, nous ne parvenons pas à estimer de manière fiable l’effet causal d’une campagne publicitaire ».
Si les équipes de recherche d’une plateforme, avec 5 000 variables par utilisateur et 663 expériences de contrôle, n’y arrivent pas, aucun prestataire d’attribution ne le fera sur vos données. C’est le meilleur argument disponible contre les promesses d’attribution algorithmique, et il vient de l’intérieur.
Ce qu’une PME peut trancher, et ce qu’elle ne peut pas
Il faut être honnête sur la limite, parce qu’elle est statistique et qu’aucun outil ne la déplacera.
Lewis et Rao ont analysé 25 grandes expériences de terrain représentant 2,8 millions de dollars de dépense publicitaire. Résultat publié à la Quarterly Journal of Economics en 2015 : l’intervalle de confiance médian sur le retour sur investissement dépasse 100 points de pourcentage. Sur 200 000 utilisateurs répartis entre test et contrôle, une expérience échoue à détecter un retour réel de 25 % dans 74 % des cas.
Ce que cela ferme. Mesurer précisément le retour d’une campagne, avec deux décimales et un intervalle serré, n’est pas à votre portée. Ce n’est pas à la portée de la plupart des grandes entreprises non plus.
Ce que cela laisse ouvert, et c’est l’essentiel. Une question binaire sur un périmètre agrégé reste testable. Pas « quel est le retour de ma campagne display », mais « si je coupe tout mon display pendant six semaines sur la moitié de mes départements tirés au sort, est-ce que mes demandes entrantes bougent ». La seconde question demande beaucoup moins de puissance statistique que la première, et elle suffit souvent à trancher un arbitrage budgétaire.
Et il reste la voie des outils libres. Google maintient quotidiennement Meridian, publié sous licence Apache 2.0, qui intègre désormais un module d’expérimentation géographique. Meta publie GeoLift sous licence MIT. Meta publie également Robyn, toujours disponible sur le dépôt R officiel, mais dont la branche principale n’a pas reçu de commit depuis juin 2025 ni de version publiée depuis décembre 2024 : l’écart de dynamisme avec Meridian mérite d’être connu avant d’investir dans l’un ou l’autre. Notre article sur le marketing mix modeling explique pourquoi ces tests viennent avant le modèle, et non après.
La nuance que les vulgarisations suppriment
L’expérience eBay est devenue un argument de conversation : « une étude a prouvé que la publicité de recherche ne sert à rien ». Ce n’est pas ce que dit le papier, et la nuance est celle qui vous intéresse.
Les auteurs écrivent : « pour les mots-clés hors marque, nous trouvons que les utilisateurs nouveaux et peu fréquents sont influencés positivement par les annonces, mais que les utilisateurs plus fréquents, dont le comportement d’achat n’est pas influencé par les annonces, représentent l’essentiel des dépenses publicitaires, ce qui aboutit à des rendements moyens négatifs ».
Le rendement est négatif en moyenne, et il l’est pour une raison précise : le budget part majoritairement sur des clients fidèles qui seraient venus de toute façon. L’effet sur les nouveaux clients, lui, est réel et détectable.
Deux réserves supplémentaires, que les auteurs posent eux-mêmes. Leur résultat concerne une marque qu’ils qualifient de très connue, et ils présentent sa généralisation comme une conjecture. Et ils notent qu’un concurrent peut enchérir sur votre nom pour capter votre trafic, situation qu’eBay ne connaissait pas pendant le test. Une PME dont personne ne connaît le nom, et sur laquelle un concurrent enchérit, n’est pas dans le monde mesuré par cette expérience.
La conclusion actionnable n’est donc pas « coupez tout ». C’est : vous payez probablement pour une part de gens qui seraient venus, cette part est mesurable, et elle se concentre là où vous ciblez vos clients existants.
Les chiffres qu’on vous opposera
Quatre affirmations reviennent dans toute discussion sur le sujet. Deux sont fausses, une est vraie mais détournée, une est vraie sous conditions.
« La moitié de mon budget publicitaire est gaspillée, je ne sais pas laquelle. » La phrase est attribuée à un commerçant américain du dix-neuvième siècle, et aucune source directe ne l’a jamais confirmée. Elle est également attribuée à trois autres industriels selon les pays, et son biographe l’a retrouvée dactylographiée dans ses archives, sans nom ni référence. Les auteurs de l’étude eBay la citent d’ailleurs en prenant la précaution d’écrire « attribuée à ». C’est une bonne illustration, ce n’est pas une citation.
« Seuls 36 centimes sur chaque euro atteignent le consommateur. » Ce chiffre est réel et documenté par une étude de l’association américaine des annonceurs, menée sur 21 annonceurs et 123 millions de dollars de dépense suivie. Mais il mesure la déperdition dans la chaîne d’achat programmatique, c’est-à-dire les frais d’intermédiaires, l’inventaire non visible et le trafic invalide. Il ne mesure pas l’incrémentalité. Une impression peut atteindre un vrai humain, être parfaitement visible, et n’avoir aucun effet causal. Citer cette étude pour dire que la publicité ne fonctionne pas est une erreur de catégorie. Notre article sur l’audit de la chaîne d’achat publicitaire traite ce sujet pour ce qu’il est.
« Une étude Meta a montré que seulement 34 % des conversions attribuées sont incrémentales. » Ce chiffre n’existe pas. Il paraît construit par contamination avec l’analyse des quinze campagnes menées sur Facebook, à laquelle un pourcentage a été accolé. Les travaux réels donnent des chiffres différents et documentés, cités plus haut.
« 80 % des professionnels du marketing disent que l’incrémentalité fait croître le chiffre d’affaires. » Google publie ce chiffre, et sa note de bas de page le qualifie : enquête commanditée par Google, échantillon de 567 professionnels américains, tous disposant d’un budget publicitaire annuel supérieur à 500 000 dollars. Commanditaire juge et partie, marché américain, et un seuil d’entrée qui exclut la quasi-totalité des PME françaises. Citable avec sa note, inutilisable sans elle.
Comment nous intervenons
Nous n’arrivons jamais sur ce sujet par le sujet lui-même. Nous y arrivons parce qu’une entreprise hésite à couper une ligne budgétaire, ou parce qu’un prestataire affiche un retour que la comptabilité ne retrouve pas.
Nous commençons par le test de cohérence. Additionnez les revenus que vos plateformes s’attribuent et comparez au chiffre d’affaires réellement encaissé sur la même période. L’écart donne immédiatement la mesure du problème, il ne coûte rien, et il suffit souvent à ouvrir la discussion.
Nous regardons si un test est possible avant d’en proposer un. Les cinq conditions du test géographique se vérifient en une demi-journée. Si vous ne pouvez pas rattacher vos résultats à une zone, le test géographique est hors de portée et il faut le dire plutôt que d’en vendre un.
Nous dimensionnons la question à la puissance disponible. Une PME ne peut pas estimer un retour précis. Elle peut souvent trancher une question binaire sur un canal entier. Le travail consiste à reformuler la question de décision pour qu’elle devienne testable.
Nous chiffrons ce que le test coûte en renoncement. Un test d’incrémentalité suppose de renoncer volontairement à de la diffusion sur une partie du marché pendant plusieurs semaines. C’est le coût réel, et c’est la raison pour laquelle presque personne ne le fait. Il doit être posé sur la table avant, pas découvert en route.
Par où commencer
Faites le test de cohérence cette semaine. Somme des revenus attribués par vos plateformes, contre chiffre d’affaires encaissé, sur le même mois. Si la première dépasse le second, vous savez déjà que vos rapports comptent deux fois les mêmes ventes.
Vérifiez si vous pouvez rattacher un résultat à une zone géographique. C’est la condition qui décide de tout le reste. Si votre suivi n’enregistre pas de code postal ou de département, c’est le premier chantier, avant tout test.
Commencez par le canal dont vous doutez le plus. Le retargeting et les annonces sur votre propre nom sont les deux candidats habituels, parce que ce sont ceux dont le retour affiché est le plus flatteur et le moins incrémental. Notre article sur le retargeting détaille pourquoi.
Ne testez pas ce que vous ne couperez jamais. Un test n’a de sens que si vous êtes prêt à agir sur son résultat. Si la réponse « ce canal n’apporte rien » ne changera rien à votre plan, l’expérience ne vaut pas son coût.
En bref
L’attribution répartit des ventes déjà survenues. L’incrémentalité établit si elles seraient survenues sans la publicité. Ce sont deux questions distinctes, et seule la seconde répond à un arbitrage budgétaire.
L’écart entre les deux se chiffre. Sur le même canal chez eBay : plus de 4 100 % de retour par la méthode habituelle, moins 63 % par l’expérience. Sur les mots-clés de marque, 99,5 % du trafic payant abandonné a été récupéré gratuitement par le référencement naturel.
Un arrêt de campagne sans groupe témoin ne mesure rien : le même arrêt affiche 5,6 % de perte sans témoin et 0,529 % avec, soit un facteur dix imputable à la seule saisonnalité.
Les modèles ne remplacent pas l’expérience, et cela a été testé sur 663 expériences avec 5 000 variables par utilisateur : effet réel médian de 5 % sur l’achat, contre 24 % à 64 % estimés.
Enfin, la conclusion n’est pas que la publicité ne sert à rien. Elle est que son effet se concentre sur les clients nouveaux et occasionnels, quand le budget part majoritairement sur les clients fidèles qui seraient venus.