Outils – Audit de validité

À quoi sert cette page

Une analyse peut être “convaincante” sans être valide.

Cette page sert à fixer une règle simple : un résultat n’est acceptable que si l’on peut contrôler comment il a été produit, dans quelles limites, et avec quels risques d’erreur.

L’outil proposé ici n’a pas pour but de “noter” une analyse comme à l’école.

Il sert à rendre explicites les points de fragilité :

• comparabilité,
• dispositif,
• biais,
• statut des conclusions,
• incertitude,
• et trace des choix.

À retenir

Une analyse est valide quand elle est contrôlable :

• on sait ce qui a été comparé,
• ce qui a été supposé,
• et ce que l’on peut conclure, ou pas.

La rigueur ne supprime pas l’incertitude : elle empêche seulement de la nier.

Définition

Dans ce site, auditer la validité signifie : vérifier qu’une analyse respecte des conditions minimales d’acceptabilité, avant d’en tirer une interprétation, une explication, ou une recommandation.

Concrètement, l’audit répond à quatre questions :

1. Comparabilité : compare-t-on réellement des choses comparables ?
2. Lisibilité : le lecteur peut-il lire sans surcharge ni ambiguïté ?
3. Honnêteté : les échelles, catégories, transformations, exclusions sont-elles explicites et défendables ?
4. Discipline d’interprétation : dit-on clairement ce que le résultat montre, et ce qu’il ne prouve pas ?

Mode d’emploi

Utilisez l’outil en deux temps.

1) Contrôles minimaux (obligatoires)

Commencez toujours par les 4 contrôles minimaux.

S’ils échouent, le reste est secondaire : vous risquez surtout une comparaison abusive ou une surinterprétation.

2) Avancé (si enjeu élevé ou publication)

Ouvrez “Avancé” si l’analyse est destinée à :

• un rapport,
• une décision,
• une publication,
• ou si les données sont fragiles.

Vous testez alors :

• familles de biais,
• inférence,
• incertitude,
• robustesse,
• et auditabilité.

Règle pratique :

• si l’audit dit “OK”, vous pouvez publier en explicitant les limites ;
• si l’audit dit “Fragile”, publiez seulement avec prudence et cadrage ;
• si l’audit dit “À risque”, corrigez le dispositif ou abstenez-vous provisoirement.

L’outil

Exemple

Vous lisez une analyse interne qui conclut :

• « Le segment B est moins fidèle, il faut changer l’offre. »

L’audit met en évidence trois fragilités typiques :

• Comparabilité : le segment B n’est pas comparable au segment A (périodes différentes, canal différent).
• Dispositif : les données CRM excluent les clients multicanaux, sans le dire.
• Statut des conclusions : une variation descriptive est présentée comme une explication (“ils sont moins fidèles”) puis comme une recommandation (“changer l’offre”).

Résultat : l’audit ne dit pas “vous avez tort”, il dit : vous ne pouvez pas conclure cela avec ce dispositif.

La correction prioritaire n’est pas “un meilleur graphique”, mais une meilleure comparabilité et un meilleur cadrage.

Piège fréquent

Piège : transformer l’audit en score-magique.

Un score n’est pas un verdict :

• c’est un repère pour identifier où une analyse devient fragile.

Deux erreurs typiques :

• croire qu’un “bon score” remplace le jugement ;
• croire qu’un “mauvais score” invalide tout (alors qu’il peut signaler une limite locale corrigeable).

La bonne pratique est : corriger d’abord les fragilités structurales, pas “optimiser la note”.

Comment utiliser cette page

Quand vous produisez ou lisez une analyse, utilisez l’audit comme une check-list de discipline :

• avant d’interpréter : vérifier comparabilité, échelles, lisibilité ;
• avant de recommander : distinguer description, interprétation, explication, recommandation ;
• avant de publier : expliciter les limites, les biais plausibles, et l’incertitude restante.

Si ces points sont explicites, l’analyse devient discutabile. Sinon, elle reste un récit.