Cas mobile app : isoler l’effet des push sur la rétention
Les push peuvent améliorer la rétention, mais ils peuvent aussi simplement capter des retours qui auraient eu lieu sans eux
Dans une application mobile, la notification push est souvent traitée comme un levier direct de rétention : on envoie un rappel, l’utilisateur revient, le dashboard affiche une hausse de sessions, et l’équipe conclut que le push a fonctionné. Cette lecture est confortable, mais dangereuse. Un push peut effectivement réactiver un utilisateur, accélérer une action, réduire l’oubli ou renforcer une habitude. Il peut aussi ne faire que précipiter une session déjà probable, cannibaliser une visite organique, créer une dépendance à l’interruption ou augmenter les désinstallations silencieuses. La question stratégique n’est donc pas combien d’utilisateurs ont ouvert l’application après un push, mais combien de rétention incrémentale le push a réellement créée.
L’enjeu est d’autant plus critique que les coûts d’acquisition mobile restent élevés. Le CPA, coût par acquisition ou coût par action selon le contexte, peut être optimisé sur l’installation ou l’inscription, mais la rentabilité dépend de la rétention, de l’activation et de la monétisation aval. Le ROAS, return on ad spend, ratio entre revenu attribué et dépenses publicitaires, peut paraître solide si les campagnes d’acquisition génèrent des installations à bas coût, mais s’effondrer lorsque les utilisateurs ne reviennent pas à J+7, J+30 ou J+90. Dans ce contexte, les push sont souvent mobilisés comme levier de récupération de valeur après acquisition. Encore faut-il savoir s’ils causent réellement le retour.
Le problème vient de l’attribution, méthode qui assigne une conversion ou une part de valeur à un point de contact marketing. Dans une app, l’attribution post-push mesure fréquemment les utilisateurs qui ouvrent l’application dans une fenêtre de quelques minutes, heures ou jours après réception. Mais cette proximité temporelle ne prouve pas la causalité. Les utilisateurs les plus susceptibles de cliquer sont souvent les plus engagés. Les push envoyés après un signal comportemental, comme un panier abandonné, une série commencée ou une progression interrompue, ciblent par construction des utilisateurs déjà proches de revenir. Le risque est donc de surestimer l’effet réel de la notification.
Isoler l’effet des push sur la rétention suppose de passer d’un reporting d’ouvertures à une logique expérimentale. Il faut comparer ce qui se passe avec push à ce qui se serait passé sans push, sur une population comparable. Cette différence est l’incrémentalité, c’est-à-dire la valeur additionnelle causée par une action par rapport à un scénario contrefactuel. Pour une équipe growth, la rigueur expérimentale n’est pas un luxe méthodologique : c’est ce qui permet de décider si l’on doit augmenter la pression push, la réduire, la personnaliser, la réserver à certains segments ou remplacer une partie des notifications par de l’in-app, de l’email, du SMS ou de la personnalisation produit.
Définir la rétention à mesurer avant de tester les push
La première erreur consiste à mesurer l’effet des push avec une métrique trop proche de l’envoi, par exemple le taux d’ouverture de la notification ou le taux de session dans l’heure. Ces indicateurs sont utiles pour diagnostiquer la mécanique immédiate, mais ils ne suffisent pas à évaluer la rétention. Une ouverture peut être accidentelle. Une session peut durer trois secondes. Un retour peut n’avoir aucun impact sur la valeur économique. Pour isoler l’effet réel, il faut d’abord définir quelle forme de rétention est pertinente pour le modèle de l’application.
Dans le framework AARRR, acquisition, activation, rétention, revenu et referral, la rétention n’est pas un simple retour technique. Elle désigne la capacité à faire revenir l’utilisateur vers un usage porteur de valeur. Pour une application média, la rétention peut être la lecture d’au moins trois contenus par semaine. Pour une application bancaire, la consultation utile d’un solde ou l’exécution d’une opération. Pour une app de fitness, une séance enregistrée. Pour une marketplace, une recherche qualifiée, un ajout au panier ou une transaction. Pour une app SaaS mobile, une action métier réalisée par un utilisateur actif.
La métrique doit être reliée au niveau de maturité utilisateur. Un push envoyé à un nouvel inscrit doit plutôt viser l’activation : compléter le profil, configurer une préférence, créer un premier projet, suivre un thème, ajouter un moyen de paiement. Un push envoyé à un utilisateur déjà activé peut viser la rétention comportementale : retour hebdomadaire, streak, consommation de contenu, renouvellement d’une action. Un push envoyé à un utilisateur payant peut viser l’expansion ou la prévention du churn, désabonnement ou abandon durable du service. Mélanger ces objectifs produit des conclusions confuses.
Il faut également distinguer plusieurs horizons. La rétention J+1 mesure le retour très court terme, souvent sensible aux rappels. La rétention J+7 mesure une première habitude. La rétention J+30 indique davantage la durabilité. La rétention par fréquence, par exemple au moins deux semaines actives sur quatre, est souvent plus robuste que la simple présence à une date donnée. Une notification peut augmenter J+1 sans améliorer J+30. Elle peut même dégrader la rétention longue si elle crée de la fatigue, des opt-outs ou une perception intrusive.
Un cas mobile app peut illustrer l’arbitrage. Une application de livraison de repas observe que les push promotionnels augmentent les ouvertures à deux heures de 18 % à 31 %. Mais lorsque l’équipe mesure les commandes incrémentales à sept jours, l’uplift tombe à 3 %. Beaucoup d’utilisateurs ouvraient l’app par curiosité ou auraient commandé plus tard sans promotion. En revanche, un push contextualisé envoyé aux utilisateurs ayant déjà commandé deux fois dans le mois, avec une recommandation basée sur leurs restaurants favoris, augmente les commandes à sept jours de 9 % et ne dégrade pas le taux d’opt-out. La métrique proche donnait une hiérarchie trompeuse ; la métrique de rétention utile change la décision.
Construire un holdout propre : le seul moyen de séparer corrélation et causalité
Le design le plus robuste pour isoler l’effet des push est le holdout. Un holdout est un groupe volontairement non exposé à une mécanique, servant de témoin. Dans le cas des notifications, une partie des utilisateurs éligibles reçoit le push, tandis qu’une autre partie, tirée aléatoirement, ne le reçoit pas. On compare ensuite la rétention ou l’action cible entre les deux groupes. Si le groupe exposé atteint 28 % de rétention J+7 et le groupe holdout 24 %, l’uplift absolu est de 4 points. L’effet relatif est de 16,7 %. C’est cet écart, et non le taux d’ouverture, qui mesure l’effet incrémental.
La randomisation est essentielle. Elle consiste à répartir aléatoirement les utilisateurs éligibles entre groupe test et groupe témoin. Sans randomisation, le test risque de comparer des populations différentes. Par exemple, envoyer des push aux utilisateurs les plus récents et garder les plus anciens en témoin surestimera ou sous-estimera l’effet selon la dynamique naturelle. Envoyer le push uniquement à ceux dont le token est disponible peut aussi biaiser la mesure, car les utilisateurs ayant accepté les notifications ne sont pas représentatifs de toute la base. Le test doit donc être défini sur la population réellement éligible : utilisateurs ayant opt-in push, token valide, version d’app compatible et absence de contraintes légales ou de préférences de contact opposées.
La taille du holdout dépend du volume et de l’effet minimal détectable. Le minimum detectable effect, effet minimal détectable, est la plus petite différence que l’expérience peut identifier avec une puissance statistique raisonnable. Si une app compte 1 million d’utilisateurs actifs mensuels, un holdout de 10 % peut suffire pour mesurer un uplift de quelques points sur une action fréquente. Si l’action est rare, comme un abonnement premium ou une commande, il faudra augmenter la taille du holdout, allonger la fenêtre d’observation ou tester sur plusieurs cycles. Un holdout trop petit donne des résultats instables et pousse les équipes à surinterpréter du bruit.
Un protocole simple peut prendre la forme suivante : sélectionner les utilisateurs éligibles à une campagne de réactivation, exclure ceux déjà exposés à une autre campagne critique, randomiser 80 % en groupe push et 20 % en holdout, envoyer la notification au groupe push, mesurer les sessions qualifiées, actions de valeur, opt-outs, désinstallations et revenus à J+1, J+7 et J+30. Le point clé est que le holdout ne doit pas être modifié en cours de test. Si l’équipe décide de rattraper le groupe témoin deux jours plus tard parce qu’elle craint de perdre du trafic, la mesure devient illisible.
L’étanchéité doit également être surveillée. Les utilisateurs du holdout ne reçoivent pas le push testé, mais ils peuvent être exposés à d’autres leviers : email, in-app message, retargeting paid social, paid search, campagnes RTB, real-time bidding, enchères publicitaires en temps réel impression par impression, achetées via une DSP, demand-side platform, plateforme d’achat programmatique. Ce n’est pas forcément un problème si ces expositions sont équilibrées entre groupes. En revanche, si le groupe holdout reçoit un email de compensation ou une promotion différente, l’effet du push devient impossible à isoler. La coordination CRM, paid media et produit est donc indispensable.
Segmenter les push : transactionnels, comportementaux, promotionnels et habit-forming
Tous les push ne doivent pas être évalués avec le même niveau d’exigence ni la même métrique. Une notification transactionnelle, comme un code de connexion, une confirmation de livraison ou une alerte de sécurité, relève d’abord de l’expérience de service. Son objectif n’est pas forcément d’augmenter la rétention, même si elle peut la soutenir indirectement. Une notification marketing, en revanche, doit prouver qu’elle crée une valeur additionnelle, car elle consomme de l’attention et peut générer de la fatigue.
Une typologie opérationnelle distingue quatre familles. Les push transactionnels informent sur un événement attendu ou nécessaire. Les push comportementaux répondent à une action ou une inaction : panier abandonné, onboarding incomplet, contenu commencé mais non terminé, seuil d’usage atteint. Les push promotionnels stimulent une action par avantage économique : remise, livraison offerte, crédit, offre limitée. Les push habit-forming cherchent à renforcer une routine : rappel quotidien, streak, recommandation personnalisée, résumé hebdomadaire. Chaque famille a une dynamique d’incrémentalité différente.
Les push comportementaux ont souvent une performance attribuée élevée, car ils ciblent des utilisateurs déjà engagés dans un funnel, entonnoir de conversion allant de l’exposition à l’acquisition, puis à l’activation, la rétention et le revenu. Mais cette performance est précisément celle qui doit être testée. Un utilisateur ayant abandonné un panier a déjà manifesté une intention. Si 20 % des abandons panier convertissent naturellement dans les 24 heures et que le push porte ce taux à 23 %, l’effet incrémental est de 3 points, même si la plateforme attribue toutes les commandes post-push au push. La différence entre conversion attribuée et conversion causée peut être massive.
Les push promotionnels doivent être évalués sur la marge, pas seulement sur le volume. Supposons une app e-commerce avec 500 000 utilisateurs opt-in. Une campagne push offre 10 % de remise aux utilisateurs dormants depuis 30 jours. Le groupe push affiche 12 000 commandes, le holdout projeté 9 000. L’uplift est donc de 3 000 commandes. Si le panier moyen est de 40 euros, le revenu incrémental est 120 000 euros. Mais si la marge brute est de 35 % et que la remise moyenne coûte 4 euros par commande, la contribution incrémentale doit intégrer à la fois la marge et le coût promotionnel. Une campagne qui augmente les commandes peut rester destructrice si elle attire des utilisateurs opportunistes ou accélère des achats qui auraient eu lieu au prix plein.
Les push habit-forming demandent une lecture plus longue. Ils peuvent ne pas produire un fort uplift immédiat, mais améliorer la fréquence d’usage ou la probabilité de revenir plusieurs semaines. Par exemple, une app de méditation peut tester un rappel personnalisé selon l’heure habituelle de pratique. À J+1, l’effet est modeste : 2 points de sessions supplémentaires. À J+30, le groupe push présente 11 % d’utilisateurs ayant pratiqué au moins huit jours dans le mois contre 8 % dans le holdout. L’effet réel n’est pas seulement une ouverture, mais la consolidation d’une routine. À l’inverse, un rappel quotidien générique peut augmenter J+1 et dégrader J+30 par fatigue.
Il est donc utile de créer un référentiel de performance par type de push : objectif primaire, métrique de succès, horizon de mesure, coût potentiel, risque d’irritation et fréquence maximale. Une organisation mature ne demande pas à chaque notification de maximiser le clic. Elle demande à chaque notification de justifier sa place dans l’expérience utilisateur et dans l’économie de l’app.
Mesurer les effets négatifs : opt-out, désinstallation, fatigue et cannibalisation
L’effet des push ne se limite pas aux utilisateurs qui reviennent. Il inclut aussi ceux qui désactivent les notifications, désinstallent l’application, réduisent leur usage ou développent une aversion silencieuse. Ces effets sont moins visibles que les ouvertures, mais ils peuvent détruire la valeur long terme. Une notification qui génère 5 000 sessions supplémentaires mais provoque 12 000 opt-outs sur des utilisateurs à forte LTV, lifetime value, valeur économique attendue d’un client sur toute sa relation avec la marque, peut être un mauvais arbitrage.
Le taux d’opt-out push doit être suivi par cohorte. Une cohorte désigne un groupe d’utilisateurs partageant une période d’entrée ou une condition commune, par exemple les inscrits de janvier ou les utilisateurs ayant reçu une campagne spécifique. Mesurer un taux global d’opt-out masque les segments sensibles. Les nouveaux utilisateurs peuvent être plus tolérants si les notifications les aident à comprendre le produit. Les utilisateurs avancés peuvent accepter des alertes personnalisées mais refuser des promotions génériques. Les utilisateurs dormants peuvent désinstaller à la première pression commerciale s’ils n’ont plus de lien fort avec la marque.
La désinstallation est plus difficile à mesurer avec précision, car les signaux remontent différemment selon les systèmes mobiles. APNs, Apple Push Notification service, infrastructure d’Apple pour l’envoi de notifications iOS, et FCM, Firebase Cloud Messaging, service de Google pour les notifications Android, permettent de détecter certains tokens invalides, mais pas toujours immédiatement. Il faut donc compléter avec des signaux analytiques : absence prolongée de sessions, invalidation du token, événements de suppression lorsque disponibles, baisse des MAU, monthly active users, utilisateurs actifs mensuels. L’important est d’intégrer ces coûts dans l’analyse, même imparfaitement.
La cannibalisation est un autre biais fréquent. Un push peut déplacer une session qui aurait eu lieu naturellement le soir vers le matin, sans augmenter l’usage total. Il peut déplacer une commande organique vers une commande promotionnelle. Il peut détourner l’utilisateur d’un parcours in-app plus rentable vers une offre court terme. Pour le détecter, il faut mesurer les conversions totales sur une fenêtre suffisamment longue, pas seulement les conversions immédiates. Si le groupe push surperforme à J+1 mais revient au même niveau que le holdout à J+7, l’effet est peut-être surtout un déplacement temporel.
Une méthode utile consiste à suivre des métriques de santé en parallèle de la métrique cible : opt-out push, taux de désinstallation estimé, fréquence de sessions, durée ou profondeur d’usage, revenu net, marge, satisfaction, taux de support, plaintes et baisse d’engagement après exposition répétée. Le push doit être évalué comme un instrument d’allocation d’attention. Son coût n’est pas uniquement technique ; il est relationnel.
Personnaliser sans sur-optimiser : le rôle des scores, de la fréquence et du timing
Une fois l’effet incrémental mesuré, l’étape suivante consiste à comprendre où le push fonctionne réellement. La moyenne globale est rarement actionnable. Un uplift moyen de 4 points peut cacher un effet de 12 points chez les utilisateurs récemment activés, nul chez les power users et négatif chez les dormants de plus de 90 jours. La segmentation doit porter sur la maturité, le comportement, la valeur et le contexte.
Les variables les plus utiles sont généralement la récence de dernière session, la fréquence d’usage, la profondeur d’activation, la catégorie d’intérêt, le statut payant ou gratuit, la valeur historique, la probabilité de churn, le canal d’acquisition et l’historique d’exposition aux notifications. Le canal d’acquisition compte parce qu’un utilisateur issu d’une campagne paid social incitative peut avoir une intention plus faible qu’un utilisateur venu par recherche de marque ou recommandation. Le push peut compenser une activation fragile, mais il peut aussi masquer un problème d’acquisition ou d’onboarding.
Les scores prédictifs peuvent aider, mais ils doivent être calibrés sur l’incrémentalité, pas uniquement sur la propension à revenir. Un modèle de propension classique identifie les utilisateurs les plus susceptibles d’effectuer une action. Or ces utilisateurs sont parfois ceux qui auraient agi sans push. Pour optimiser l’effet réel, il faut plutôt approcher l’uplift modeling, modélisation qui cherche à prédire l’effet causal d’une action sur un individu ou un segment. L’idée n’est pas de cibler ceux qui vont convertir, mais ceux pour lesquels la notification change réellement la probabilité de convertir.
La fréquence est un levier majeur. Une app peut définir un cap global, par exemple pas plus de trois push marketing par semaine, mais ce plafond doit être modulé. Un utilisateur engagé dans un événement temps réel, comme une enchère, un match, une livraison ou une conversation, peut accepter davantage de notifications pertinentes. Un utilisateur dormant peut ne tolérer qu’un message très contextualisé par mois. La pression doit être mesurée en cumul multi-canal : push, email, SMS, in-app, retargeting, appels commerciaux dans certains modèles hybrides. L’utilisateur ne distingue pas toujours les silos internes ; il subit une pression globale de marque.
Le timing doit également être testé. Les plateformes permettent d’envoyer selon l’heure locale, l’heure habituelle d’ouverture, la probabilité de disponibilité ou un déclencheur comportemental. Mais le meilleur timing n’est pas toujours celui qui maximise le clic. Envoyer à 8 h peut produire plus d’ouvertures, mais moins d’actions qualifiées si l’utilisateur est en transit. Envoyer après un moment de valeur, par exemple un contenu sauvegardé, une progression atteinte ou une recommandation renouvelée, peut produire moins de volume mais plus de rétention utile. L’expérimentation doit donc comparer des timings sur la métrique finale, pas seulement sur l’open rate.
Un cas concret : une app d’apprentissage des langues teste trois stratégies sur 300 000 utilisateurs activés. Le groupe A reçoit un rappel quotidien fixe à 19 h. Le groupe B reçoit un push selon l’heure habituelle de dernière session. Le groupe C reçoit un push uniquement après deux jours sans pratique, avec mention de l’objectif personnel. Le holdout ne reçoit pas de push marketing. À J+30, le groupe A augmente les sessions de 9 % mais les opt-outs de 1,8 point. Le groupe B augmente les jours actifs de 6 % et les opt-outs de 0,6 point. Le groupe C augmente les utilisateurs ayant maintenu leur streak hebdomadaire de 11 % avec seulement 0,4 point d’opt-out. Si l’objectif est la rétention durable, le groupe C domine, même s’il génère moins d’ouvertures brutes.
Relier l’incrémentalité push au revenu, à la LTV et aux arbitrages d’acquisition
Isoler l’effet des push sur la rétention n’a de valeur que si l’équipe relie ensuite cet effet aux décisions économiques. Une amélioration de rétention J+7 peut justifier une hausse de budget d’acquisition si elle augmente la LTV. À l’inverse, une activation push peu incrémentale peut indiquer que l’entreprise compense artificiellement un mauvais onboarding ou une acquisition trop large. Le push ne doit pas devenir un pansement permanent sur une proposition de valeur insuffisante.
Le lien avec la LTV est central. Supposons qu’une application par abonnement acquière 100 000 nouveaux utilisateurs par mois à un CPA de 6 euros. Le taux de conversion payant à J+30 est de 4 %, l’ARPU, average revenue per user, revenu moyen par utilisateur, des payants est de 12 euros par mois, et la durée moyenne d’abonnement est de 5 mois. Une séquence push d’onboarding améliore l’activation de 30 % à 36 % et, après holdout, augmente la conversion payante de 4 % à 4,6 %. L’uplift absolu semble faible, 0,6 point. Mais sur 100 000 utilisateurs, cela représente 600 abonnés supplémentaires. À 60 euros de revenu brut par abonné sur la durée, le revenu incrémental est 36 000 euros par cohorte mensuelle, avant marge et coûts. Si le coût opérationnel des push est faible et que les opt-outs restent maîtrisés, le levier est économiquement significatif.
En revanche, l’effet doit être net des coûts promotionnels et de la pression relationnelle. Dans une application de retail, une séquence push peut augmenter la fréquence d’achat mais réduire le panier moyen si elle repose sur des remises répétées. Elle peut aussi entraîner une attente promotionnelle : les utilisateurs apprennent à ne commander qu’après notification. Dans ce cas, la rétention apparente augmente tandis que la marge se dégrade. La mesure doit donc suivre le revenu net, la marge contributionnelle, le taux de remise, la récurrence hors promotion et le comportement des cohortes après arrêt des incitations.
L’incrémentalité push doit également alimenter les arbitrages d’acquisition. Si les utilisateurs acquis par un canal donné ne retiennent que sous forte pression push, leur LTV réelle peut être inférieure au reporting initial. Une campagne RTB ou paid social peut produire des installations peu coûteuses, mais si ces utilisateurs nécessitent une séquence intensive de notifications, remises et relances pour atteindre une action de valeur, le coût complet d’acquisition augmente. À l’inverse, certains canaux plus chers peuvent générer des utilisateurs naturellement plus retenus et moins dépendants au CRM. L’analyse doit donc croiser canal d’acquisition, exposition push, incrémentalité et valeur.
Une bonne pratique consiste à produire un tableau de cohortes par canal et niveau d’exposition : pas de push marketing, faible exposition, exposition standard, forte exposition. Pour chaque cohorte, l’équipe suit activation, rétention J+7, rétention J+30, revenu, marge, opt-outs et désinstallations. L’objectif n’est pas de conclure que moins ou plus de push est toujours meilleur. Il est de comprendre le point de rendement marginal : à partir de quelle fréquence ou de quel type de notification l’effet additionnel devient faible, nul ou négatif.
Conclusion : tester les push comme un levier causal, pas comme un simple canal de trafic
Les notifications push restent l’un des leviers les plus puissants du mobile growth, parce qu’elles permettent d’agir en dehors de la session, au moment où l’attention de l’utilisateur peut être réorientée. Mais cette puissance impose une discipline. Un push qui génère une ouverture n’a pas nécessairement créé de rétention. Un push qui augmente J+1 peut ne rien changer à J+30. Un push qui améliore les commandes peut réduire la marge. Un push qui réactive certains segments peut fatiguer les meilleurs utilisateurs. La performance doit être causale, segmentée et économique.
Une méthode actionnable peut se résumer en sept décisions. Premièrement, définir la rétention utile selon le modèle de l’app : action de valeur, fréquence d’usage, abonnement, transaction, marge ou routine. Deuxièmement, distinguer les horizons J+1, J+7, J+30 et les métriques de fréquence, afin de ne pas confondre retour immédiat et habitude durable. Troisièmement, mettre en place des holdouts randomisés sur les populations éligibles, avec une taille suffisante pour détecter l’effet attendu. Quatrièmement, segmenter les push par nature : transactionnels, comportementaux, promotionnels et habit-forming, chacun avec sa métrique de succès. Cinquièmement, mesurer les effets négatifs : opt-out, désinstallation, fatigue, cannibalisation et baisse de marge. Sixièmement, optimiser le ciblage, la fréquence et le timing sur l’uplift réel, pas seulement sur la propension à cliquer. Septièmement, relier les résultats à la LTV, au CPA complet, au ROAS et aux arbitrages d’acquisition.
Pour les équipes marketing et produit avancées, le changement de posture est majeur. Les push ne doivent plus être pilotés comme un robinet de sessions, mais comme un système d’intervention dont chaque envoi consomme du capital attentionnel. La bonne question n’est pas quel push obtient le meilleur taux d’ouverture. Elle est : quel push, envoyé à quel segment, à quel moment, augmente réellement la probabilité d’un usage durable ou d’un revenu rentable, sans dégrader la relation utilisateur ? C’est à ce niveau que la notification mobile cesse d’être une tactique d’interruption et devient un instrument maîtrisé de rétention.
