FlashInsight

Glossaire

Sous-dispersion

Aussi appelé under-dispersion · variance sous-estimée

Le défaut le plus fréquent des panels simulés : les réponses sont plus resserrées que celles d’humains réels. Le désaccord disparaît, et avec lui le signal.

La sous-dispersion est le défaut d’un panel simulé dont les réponses sont plus resserrées que celles de vrais répondants du même profil : le désaccord qui existe dans la population n’a pas été reproduit. Elle se lit comme un rapport, la dispersion des réponses simulées divisée par celle des réponses humaines sur la même question. À 1,00 la dispersion est humaine ; en dessous, elle manque. C’est le défaut le mieux documenté du domaine, et le moins publié par ceux qui vendent des répondants synthétiques.

Ouvrir l’animation en plein écran

L’essentiel

  • Interrogez cent humains sur une même question : leurs réponses s’étalent. Interrogez cent répondants synthétiques mal construits : elles se resserrent.
  • Le défaut ne se voit pas sur une moyenne. Une moyenne sous-dispersée peut être parfaitement juste. Il se voit sur l’écart-type, la forme de la distribution, la part de désaccord.
  • Il corrompt la comparaison, pas le niveau : deux options que le terrain sépare nettement ressortent proches, deux options équivalentes ressortent séparées.
  • Il se mesure avec une enquête publique et une feuille de calcul. Nous publions nos rapports de dispersion sur huit marchés, avant et après correction.

Pourquoi la sous-dispersion ne se voit-elle pas sur une moyenne ?

Parce qu’un panel sous-dispersé rend la bonne moyenne et le mauvais étalement. Le tableau de synthèse a l’air correct, chaque pourcentage est plausible, et rien dans une relecture ordinaire n’alerte. Ce qui est perdu, c’est la part de désaccord : les gens qui se ressemblent sur le papier et qui, dans la vraie vie, ne pensent pas la même chose. Or c’est ce désaccord qui fait qu’un test de concept sépare les options. Si vous achetez un classement, la sous-dispersion attaque exactement ce que vous achetez.

Comment mesurer la sous-dispersion d’un panel synthétique ?

Avec un test que n’importe qui peut faire passer. Demandez au fournisseur la distribution complète des réponses à une question d’opinion, pas la moyenne. Prenez une enquête publique qui pose la même question à la même population, European Social Survey, World Values Survey, enquête nationale. Comparez l’écart-type synthétique à l’écart-type humain, profil par profil si possible. Le rapport entre les deux est votre chiffre. S’il est nettement inférieur à 1, le panel est sous-dispersé, et l’écart mesuré vous dit de combien. Mesurez aussi la forme : un panel dont on aurait simplement bruité les réponses peut afficher le bon écart-type sans reproduire la structure du désaccord réel.

Quelle sous-dispersion avons-nous mesurée ?

Sur huit marchés, France, Royaume-Uni, Allemagne, Italie, Espagne, États-Unis, Mexique et Maroc, contre des enquêtes nationales nommées. Avant correction, nos répondants simulés se situaient entre 0,20 et 0,76 de la dispersion humaine selon le marché ; le Mexique était le pire, à un cinquième de l’étalement réel. Après correction, entre 0,96 et 1,07 sur les attitudes, et entre 0,85 et 1,00 sur la couche de personnalité. Aucune de ces corrections n’a déplacé une seule moyenne. Les chiffres complets, marché par marché, et les quatre choses qu’ils ne prouvent pas, sont dans la note qui les publie, en anglais. Nous publions comment mesurer le défaut, pas comment nous le corrigeons : la calibration est notre moteur, la mesure est ce qui permet de nous tenir à nos chiffres.

Que peut exiger un acheteur ?

  • Que la dispersion soit mesurée marché par marché, pas affirmée en général.
  • Qu’elle soit comparée à une référence publique et citable, nommée avec sa vague.
  • Que le chiffre soit donné avant et après correction, et donné même quand il est mauvais.
  • Que la forme de la distribution soit montrée, pas seulement l’écart-type : plus de bruit n’est pas plus de dispersion.

Un fournisseur qui ne publie aucun écart n’a pas un panel meilleur, il a un panel non mesuré.

Questions fréquentes

Qu’est-ce que la sous-dispersion en études synthétiques ?

C’est le défaut d’un panel simulé dont les réponses sont plus resserrées que celles de vrais répondants du même profil : le désaccord qui existe dans la population n’a pas été reproduit. Elle se lit comme un rapport, la dispersion des réponses simulées divisée par celle des réponses humaines sur la même question. À 1,00 la dispersion est humaine ; en dessous, elle manque.

Sous-dispersion et surdispersion, quelle différence ?

La surdispersion est l’excès inverse : des réponses plus étalées que celles de vrais répondants, donc du bruit qui n’existe pas dans le marché. En statistique classique, c’est la surdispersion que l’on rencontre le plus. Avec les modèles de langage, c’est la sous-dispersion : les réponses se regroupent autour du consensus. Corriger l’une sans mesurer peut produire l’autre.

Quel rapport de dispersion est acceptable ?

Le plus proche possible de 1,00, mesuré contre une enquête publique et non affirmé en général. Nos marchés corrigés se situent entre 0,96 et 1,07 sur les attitudes. Un rapport nettement inférieur fausse les comparaisons entre options ; un rapport nettement supérieur ajoute du bruit. Le chiffre doit être donné marché par marché, avant et après correction.

Corriger la sous-dispersion change-t-il les moyennes ?

Non, et c’est précisément pourquoi le défaut passe inaperçu si longtemps. Un panel sous-dispersé rend la bonne moyenne et le mauvais étalement ; le tableau de synthèse a l’air correct. Sur nos huit marchés, aucune correction n’a déplacé une seule moyenne. Ce qui change, c’est la capacité à séparer deux options que le terrain sépare.

Ajouter du bruit aux réponses suffit-il à corriger la sous-dispersion ?

Non. Plus de bruit n’est pas plus de dispersion. Du bruit aléatoire étale les réponses sans reproduire la structure du désaccord réel, qui suit des lignes de profil, d’attitude et de contexte. Un panel bruité et un panel dispersé peuvent avoir le même écart-type et ne pas se comporter pareil sur une comparaison. Il faut mesurer la forme, pas seulement l’étalement.

Voir aussi

  • Calibration — L’opération qui rattache une population générée à des données réelles observées, et la mesure de l’écart qui subsiste une fois l’opération faite.
  • Répondant synthétique — Un modèle interrogé comme on interrogerait une personne, calibré à partir de données décrivant une population réelle. La sortie — l’unité dont un échantillon est composé.
  • Sondage synthétique — L’application d’un protocole quantitatif classique — questions fermées, segments, pondération — à une population de répondants synthétiques plutôt qu’à un panel humain.

À lire

Retour au glossaire