Marketing mix modeling : avez-vous assez de données ?

Google publie le calcul dans sa propre documentation, et aucune page française ne le reprend.

Sur la page qui décrit la quantité de données nécessaire à Meridian, son implémentation de la modélisation du mix marketing, on lit ceci : douze canaux, six variables de contrôle et huit noeuds donnent vingt-six paramètres. Avec deux ans de données hebdomadaires, soit cent quatre points, cela fait « quatre points de donnée par paramètre ». Puis la conclusion : « cet échantillon est trop faible pour estimer le modèle de façon fiable ».

Or deux ans d’historique hebdomadaire est exactement ce que recommandent les pages françaises consacrées au sujet, écrites pour l’essentiel par des éditeurs de solutions et des agences qui vendent la prestation.

Cette page pose donc la question que le marché saute : vos données contiennent-elles assez d’information pour que le modèle soit estimable, indépendamment de l’outil que vous choisirez.

Ce que le modèle doit estimer, et ce que ça coûte

Le principe est simple à énoncer : on explique une série de ventes par une série de dépenses, canal par canal, en tenant compte de la saisonnalité, des prix et de tout ce qui influe. Ce qu’on oublie de dire, c’est le nombre d’inconnues que cela suppose.

Chaque canal coûte plusieurs paramètres, pas un seul. Il ne suffit pas d’estimer combien un euro dépensé sur un canal rapporte. Il faut aussi estimer sa rémanence, c’est-à-dire pendant combien de temps l’effet d’une dépense se prolonge, et sa saturation, c’est-à-dire à partir de quel niveau chaque euro supplémentaire rapporte moins. Ces deux phénomènes sont traités dans pourquoi votre ROAS plafonne, et ce sont eux qui coûtent cher ici.

Le chiffrage est publié. Dans un travail de recherche publié par Google, Challenges and Opportunities in Media Mix Modeling, David Chan et Michael Perry écrivent que modéliser correctement un effet retardé et un rendement décroissant « peut demander trois à quatre paramètres pour chaque canal ».

Ajoutez les variables de contrôle. La saisonnalité, le prix, la distribution, les promotions, l’activité concurrente : chacune consomme au moins un paramètre, et ce sont elles qui expliquent l’essentiel des variations de ventes.

Faites le total pour une entreprise ordinaire. Trois canaux publicitaires à trois paramètres chacun font neuf. Quatre variables de contrôle en font quatre. Une tendance et une saisonnalité en ajoutent. Vous êtes à une quinzaine d’inconnues avant d’avoir commencé, et vous n’avez modélisé que trois canaux.

Le rapport qui décide de tout

Voici le calcul absent du corpus français, et il ne porte pas sur une durée mais sur un rapport.

La règle admise. Chan et Perry l’énoncent : « une règle empirique pour un nombre minimal de points de donnée permettant une régression linéaire stable, en laissant de côté la question de savoir si les effets causaux sont bien estimés, est de sept à dix points de donnée par paramètre, ce dont les modèles de mix marketing habituels sont en deçà ».

Le guide de Robyn, l’implémentation publiée par Meta, donne le même ordre. Il recommande « un rapport de une variable indépendante pour dix observations », et précise viser sept à dix fois plus d’observations que de variables.

Ce que cela donne pour vous. Deux ans de données hebdomadaires font cent quatre observations. Trois ans en font cent cinquante-six, et Chan et Perry notent qu’un jeu de données typique « constitué de trois ans de données hebdomadaires nationales ne représente que cent cinquante-six points ». Divisez par la quinzaine de paramètres de la section précédente : vous êtes à dix observations par paramètre, tout juste au plancher, avec seulement trois canaux modélisés.

Ajoutez un quatrième canal et vous passez sous le seuil. C’est le point qui devrait décider de la faisabilité d’un projet, et il ne dépend d’aucun logiciel : le nombre de semaines dans deux ans ne se négocie pas.

Ce que fait la modélisation par zone géographique. Découper le territoire multiplie les observations, et c’est la parade classique. La documentation de Meridian chiffre le gain entre « environ huit points de donnée par paramètre » dans l’hypothèse la plus stricte et « environ soixante-quatorze » dans l’hypothèse la plus favorable, la réalité se situant entre les deux. Elle recommande aussi de modéliser les cinquante à cent plus grandes zones, ce qui suppose une distribution nationale. Une entreprise dont les clients se concentrent sur trois régions n’a pas cette parade.

Le budget stable, ou pourquoi bien gérer empêche de mesurer

Voici le point le plus contre-intuitif du sujet, et celui qu’aucune page française n’aborde.

Le modèle a besoin que vos dépenses aient bougé. Le guide de Robyn l’énonce sans détour : « si les ventes varient d’une semaine à l’autre mais que l’activité télévision est restée constante sur toute la période, le modèle peut avoir des difficultés à déterminer comment la télévision a influencé les ventes ».

Traduit pour une entreprise B2B. Vous dépensez à peu près la même somme chaque mois sur Google Ads et sur LinkedIn Ads depuis deux ans, parce que c’est ce qu’un budget maîtrisé veut dire. Votre historique est long, régulier, propre, et il ne contient pas l’information cherchée. Le modèle ne peut pas distinguer l’effet d’un canal constant du niveau de base de vos ventes.

Le paradoxe est réel et il faut le regarder en face. Bien piloter son budget et pouvoir le modéliser sont deux objectifs qui s’opposent. Produire de la variabilité exploitable suppose de couper délibérément un canal pendant des semaines, ce qui coûte des affaires, et c’est exactement ce qu’est une expérience d’incrémentalité.

La question que le modèle ne peut pas trancher. « Que se passe-t-il si je double mon budget ? » Chan et Perry montrent que quatre courbes de réponse différentes s’ajustent aussi bien aux données observées tout en prédisant des ventes très différentes dès qu’on sort de la plage historique. Or c’est précisément l’usage vendu par toutes les pages du domaine, sous le nom de scénarios budgétaires.

Le second effet, quand vos canaux bougent ensemble. Si vous augmentez Google, LinkedIn et vos salons à la rentrée puis coupez tout en été, les trois séries sont corrélées, et le modèle ne peut pas séparer leurs contributions. Les mêmes auteurs notent que la relation estimée « peut changer radicalement à cause de petites modifications des données ou de l’ajout de variables apparemment sans rapport ». Un modèle dont les conclusions changent quand on ajoute une variable anodine n’est pas un instrument de décision.

Le R² qui ne prouve rien

C’est la démonstration la plus utile du dossier, et elle vient de Google Research.

L’expérience. Chan et Perry ajustent cinq modèles différents sur le même jeu de données réel. « Chaque modèle atteint un R² de 0,98 ou 0,99 », et quatre d’entre eux obtiennent une erreur de six à huit pour cent en validation croisée sur les douze dernières semaines. Autrement dit, les cinq passent tous les contrôles de qualité qu’on vous montrera.

Le résultat. « Les modèles divergent dans leurs prédictions de ventes jusqu’à cinquante pour cent », et deux d’entre eux impliquent une rentabilité publicitaire nettement supérieure aux autres. Les auteurs concluent : « bien qu’ajustant les données aussi bien, les modèles ne s’accordent pas sur les ventes atteignables selon les niveaux de dépense ».

Pourquoi la qualité d’ajustement ne peut pas départager. Parce que la dépense publicitaire est un signal faible dans ces données : la saisonnalité, le prix et la distribution suffisent à prédire les ventes presque aussi bien sans aucune variable publicitaire. Les auteurs le disent : « de manière générale, se concentrer sur la précision prédictive ne permettra pas au modélisateur d’éliminer les modèles qui produisent des estimations de rentabilité inexactes ».

Ce que cela change à une réunion de restitution. Le R² est le chiffre que l’on projette pour établir la crédibilité du modèle. Il n’établit rien sur ce qui vous intéresse, c’est-à-dire la contribution de chaque canal. La bonne question à poser n’est pas « quel est le R² » mais « qu’obtient-on avec d’autres spécifications également défendables ».

Un mot sur le statut de cette source. Il s’agit d’une publication de Google Research, pas d’un article de revue à comité de lecture. Nous la citons parce qu’elle est publique, reproductible dans son raisonnement, et parce qu’elle va contre l’intérêt commercial de son éditeur, qui vend par ailleurs l’outil.

Le cas B2B, que personne ne traite

Aucune page française consacrée au sujet n’aborde la vente interentreprises. Trois difficultés s’y ajoutent pourtant, et elles se cumulent.

Le cycle de vente déborde la fenêtre modélisée. Quand six à dix-huit mois séparent la première exposition de la signature, l’effet d’une dépense se manifeste bien au-delà de la fenêtre de rémanence habituellement retenue. Allonger cette fenêtre coûte des paramètres supplémentaires, sur des données déjà insuffisantes.

La variable expliquée est bruitée. Une entreprise qui signe quarante affaires par an dispose d’une série hebdomadaire faite de zéros et de un. La variabilité aléatoire d’un tel comptage écrase le signal publicitaire qu’on cherche à en extraire. C’est le même phénomène que celui décrit dans pourquoi votre CAC ne veut rien dire à faible volume, mais il frappe ici une régression multivariée, ce qui est plus grave qu’un simple ratio bruité.

La décision est collective. L’exposition publicitaire d’une personne n’explique qu’une part de l’achat d’une organisation, où plusieurs personnes interviennent. Le modèle relie une dépense à un résultat sans voir ce qui s’est joué entre les deux.

La conséquence pratique. Les conditions qui rendent la méthode praticable, à savoir beaucoup d’observations, des ventes fréquentes, un cycle court et des canaux séparables, décrivent la grande consommation. C’est de là que la méthode vient, et c’est là qu’elle reste la plus solide.

Ce que le modèle ne verra jamais

Trois angles morts subsistent même quand les conditions de données sont réunies, et le premier est décrit par Google comme l’obstacle principal.

Le biais de sélection. Chan et Perry écrivent que « le biais de sélection représente peut-être le plus grand obstacle à ce que les modèles de mix marketing fournissent des estimations valides de l’efficacité publicitaire ». Le mécanisme est simple : une publicité ciblée s’adresse à des gens qui ont déjà manifesté un intérêt. Le modèle voit une dépense suivie d’une vente et lui attribue la vente, alors que la dépense a été dirigée vers ceux qui allaient acheter.

Les cas les plus exposés sont les plus courants. Les mêmes auteurs citent nommément le reciblage et les annonces sur le réseau de recherche comme les deux exemples pouvant présenter un biais de sélection sévère. Or ce sont exactement les deux lignes que la plupart des entreprises B2B laissent tourner en permanence, et celles que tous les compteurs présentent comme les plus rentables.

Ce que le modèle ne distingue pas. Il ne sépare pas ce que la publicité a créé de ce qu’elle a simplement capté. Cette distinction est traitée en tant que telle dans créer ou capter la demande, et c’est elle qui décide de la valeur d’un canal.

La conséquence pratique. Un modèle qui attribue une forte contribution à un canal de captation dit peut-être seulement que ce canal est bien ciblé. La seule façon de trancher reste de couper le canal et de regarder ce qui se passe.

L’argument des cookies tiers, faux deux fois

Toutes les pages du domaine ouvrent sur le même récit : la disparition des cookies tiers rendrait cette méthode indispensable.

Le fait invoqué est périmé. Google a renoncé à supprimer les cookies tiers dans Chrome. La chronologie complète, avec ses sources, est établie dans tracking côté serveur, quand s’y mettre, et nous ne la répétons pas ici.

Le raisonnement serait faux même si le fait tenait. C’est le point important. Perdre du signal de mesure ne vous donne pas les conditions d’un modèle : il faut toujours des années d’historique consolidé, une variabilité de dépense délibérée, un nombre de canaux limité et des zones géographiques nombreuses. Une entreprise qui perd du signal perd du signal, et n’acquiert pas pour autant les prérequis du substitut qu’on lui propose.

Ce que la méthode remplace réellement. Elle ne remplace pas la mesure au niveau individuel, elle répond à une autre question : quelle est la contribution agrégée de chaque canal. Les deux questions sont utiles, elles ne se substituent pas l’une à l’autre. La divergence entre vos différents compteurs est traitée dans pourquoi vos compteurs divergent.

L’ordre juste, et il est inversé

Le marché présente cette méthode comme le raccourci de ceux qui ne peuvent pas mener d’expériences. Les documentations disent l’inverse.

Les modèles se calibrent sur des expériences. La documentation de Meridian consacrée aux a priori de rentabilité présente les expériences d’incrémentalité comme « peut-être la base la plus solide » pour les formuler. Un travail publié par Google en 2023, Media Mix Model Calibration With Bayesian Priors, est entièrement consacré à cette calibration et conclut qu’elle réduit sensiblement le biais et l’incertitude des estimations obtenues.

Ce que cela implique. Savoir mener une expérience d’incrémentalité n’est pas une étape ultérieure et facultative, c’est un prérequis à la fiabilité du modèle. Une entreprise qui ne sait pas encore couper un canal proprement pour observer ce qui se passe n’est pas prête pour la modélisation.

La bonne séquence, pour une PME. Commencer par une expérience simple sur le canal dont vous doutez le plus, en acceptant d’en perdre le rendement pendant quelques semaines. Le résultat vaut plus qu’un modèle, il coûte moins cher, et il produit au passage la variabilité de dépense qui rendrait un modèle estimable plus tard.

Ce qui reste utile même sans modèle. Suivre la part des demandes attribuées à chaque canal dans votre outil commercial, et comparer vos périodes à vous-même plutôt qu’à des référentiels. La méthode est décrite dans le tableau de bord marketing.

Le test à faire avant d’engager quoi que ce soit

Quatre vérifications, dans cet ordre, avant même de recevoir une proposition. Elles se font sur un tableur en une heure.

Comptez vos paramètres. Trois à quatre par canal publicitaire, un par variable de contrôle, plus la tendance. Le total est votre dénominateur, et il ne dépend d’aucun prestataire.

Comptez vos observations. Le nombre de semaines d’historique consolidé dont vous disposez réellement, c’est-à-dire depuis lequel vos dépenses sont documentées canal par canal et vos ventes rattachables à une date. Beaucoup d’entreprises découvrent ici que leur historique exploitable est plus court que leur ancienneté.

Divisez, et comparez à sept. En dessous, le modèle ne sera pas estimable de façon stable, quel que soit l’outil. Entre sept et dix, il est fragile. Au-dessus de dix, la question devient celle de la variabilité.

Regardez vos dépenses mois par mois. Si vos canaux ont bougé peu, et surtout s’ils ont bougé ensemble, l’historique ne contient pas l’information cherchée. Un graphique de vos dépenses par canal sur deux ans répond à la question en quelques secondes.

Ce que le test change à la conversation commerciale. Un prestataire sérieux fera ce calcul de lui-même et vous dira si votre cas passe. Celui qui répond que l’outil se charge de tout, ou que les méthodes bayésiennes règlent le problème de données, décrit une amélioration de l’estimation, pas une création d’information. Un a priori bien choisi aide un modèle sous-déterminé à produire un résultat ; il ne fabrique pas les observations qui manquent.

Les chiffres à ne pas reprendre

Le marché français du sujet s’appuie sur quelques affirmations qui ne résistent pas à la vérification.

« 68 % des grandes entreprises ont adopté la modélisation du mix marketing. » Attribuée à un cabinet de conseil sans lien vers la publication. Nous n’avons trouvé aucune étude de ce cabinet portant ce chiffre sur ce sujet.

« Plus d’un marketeur américain sur deux l’utilise déjà. » Attribuée à un institut, sans année, sans échantillon et sans lien.

« La méthode devient pertinente au-delà de cinq millions d’euros d’investissement. » Publiée par un éditeur de solution d’attribution qui recommande son propre produit en dessous du seuil, et sans justification.

« En dessous de cinquante mille euros par mois, le contexte n’est pas réuni. » Publiée par une agence, sans justification non plus. Les deux seuils diffèrent d’un facteur huit et coexistent sur la même page de résultats.

Ce que ces seuils ratent. La question n’est pas le montant dépensé mais la quantité d’information contenue dans l’historique. Une entreprise qui dépenserait beaucoup, sur trois canaux, toujours dans les mêmes proportions, resterait inestimable. Une autre qui dépenserait peu mais aurait fait varier ses canaux indépendamment pendant trois ans serait dans une bien meilleure position.

Par où continuer, selon votre situation

Vos compteurs ne disent pas la même chose. Le sujet à traiter avant celui-ci : pourquoi vos compteurs divergent.

Votre rendement publicitaire baisse quand vous augmentez le budget. La saturation et le rendement marginal : pourquoi votre ROAS plafonne.

Vous cherchez la bonne métrique de pilotage. ROAS, MER, CAC ou LTV.

Vos volumes sont faibles. Ce que le bruit fait à vos chiffres : pourquoi votre CAC ne veut rien dire à faible volume.

Vous voulez structurer votre mesure avant tout. Le plan de taggage et le tableau de bord marketing.

En bref

• Le calcul décisif est publié par Google : douze canaux, deux ans de données hebdomadaires, quatre observations par paramètre, et « cet échantillon est trop faible pour estimer le modèle de façon fiable ».
• Le seuil admis est de sept à dix observations par paramètre, et les modèles habituels sont en deçà. Chaque canal coûte trois à quatre paramètres.
• Un budget stable rend le modèle inestimable. Bien piloter ses dépenses et pouvoir les modéliser sont deux objectifs qui s’opposent.
• Un R² de 0,98 ne prouve rien : cinq modèles également ajustés divergent de moitié sur les ventes prévues.
• Le B2B cumule trois difficultés : cycle long, faible nombre de signatures, décision collective.
• L’argument des cookies tiers est faux deux fois, sur le fait comme sur le raisonnement.
• Les expériences d’incrémentalité viennent avant, pas après. Elles servent à calibrer le modèle, et elles produisent la variabilité qui le rendrait estimable.

Si un prestataire vous propose ce chantier, demandez-lui le nombre d’observations par paramètre de votre cas. Parlons de votre projet, ou découvrez notre approche de l’acquisition.