36% des Français convaincus selon Le Parisien. 53% pour le Figaro. Le Docteur Panel décrypte ce grand écart.

Selon Le Parisien.fr qui cite un sondage CSA, Nicolas Sarkozy n'a convaincu que 36% des Français lors de son intervention de jeudi 5 février. Selon le sondage Opinionway pour le Figaro, ce sont 53% des Français qui ont été convaincus. Cherchez l'erreur…

Nous avions déjà décortiqué dans ces colonnes le décalage entre un sondage qui affirmait que le oui au référendum européen gagnerait s'il était réédité (en juin 2008) et un autre qui donnait le non gagnant dans les mêmes conditions. Mais ici, c'est un gouffre abyssal de 17 points qui sépare les deux diagnostics. Comment est-ce possible ? Qui croire ?

Le premier réflexe (et ce ne sont pas les riverains de rue89 qui me contrediront ! ) est de se dire qu'Opinionway fait ses sondages par Internet, que les internautes ne sont pas représentatifs des Français (jusque là je suis d'accord) et que donc c'est l'autre qui a raison (là ce n'est pas vrai pour autant).

En fait c'est bien plus compliqué que ça. Et ça nous donne l'occasion de balayer deux points importants sur lesquels les sondeurs, comme les journaux qui les achètent et les commentent, devraient s'astreindre à plus de transparence. Un, la question de la représentativité ; deux, la question des « bases des répondants ».

Par Internet, des sondés semi-professionalisés

Qu'il s'agisse de sondages téléphoniques ou par Internet, l'expression « échantillon représentatif » qui figure en note méthodologique des sondages se fonde uniquement sur le fait que la structure de l'échantillon respecte celle que l'Insee donne pour la population française sur un petit nombre d'indicateurs (âge, sexe, région, taille d'agglomération, catégorie socioprofessionnelle).

Pour le reste, c'est le hasard qui est censé assurer la représentativité. Et le hasard est effectivement très fiable, quand c'est vraiment lui qui fait le boulot. Le problème, c'est qu'une multitude d'obstacles l'empêchent de travailler correctement.

En gros, Internet surreprésente les geeks, le téléphone surreprésente les charentaises. Voyons cela plus en détail :

• S'agissant des sondages par Internet, même en dehors du fait que les Français ne sont pas encore tous équipés, il faut savoir qu'il n'existe pas d'annuaire d'adresses Internet. Par conséquent les « échantillons représentatifs » sont en réalité extraits de panels –c'est-à-dire de fichiers gérés par des gens dont c'est le métier- comprenant quelques dizaines ou centaines de milliers d'adresse mail de personnes ayant par avance accepté le principe de répondre à des enquêtes, en échange de bons de réduction ou de récompenses de ce genre.

  Autant dire qu'il s'agit de sondés « semi-professionnalisés ». Ça n'en fait pas nécessairement des menteurs, mais simplement des gens qui n'ont pas forcément les mêmes motivations et façons de voir la vie que les autres. Donc peut-être pas non plus les mêmes opinions que l'ensemble des Français.

• Pour les sondages téléphoniques, c'est différent, mais le hasard est aussi entravé. France Télécom vend des extraits d'annuaire. Ces extraits sont plus représentatifs que des panels puisqu'ils contiennent les numéros de tous les abonnés sauf ceux sur liste rouge ou orange. C'est déjà un biais, mais moins déformant.

  Un deuxième biais s'y ajoute, de plus en plus préoccupant : seuls les téléphones fixes sont appelés. Donc les personnes qui sont souvent à la maison aux heures où les enquêteurs appellent sont largement surreprésentées dans l'échantillon. A l'inverse celles qui sont toujours en vadrouille et joignables seulement sur leur portable, sont sous-représentées. Là encore, à âge, sexe ou profession égale, qui peut affirmer que ces deux populations aux modes de vie si différents se répartissent de la même manière sur les questions d'opinion ?

Vraiment, il est grand temps que les instituts se dotent d'un peu d'investissements en recherche et développement avant de n'avoir plus que leurs voisins de pallier à interroger comme échantillon « représentatif ».

Comment peut-on répondre à la question « avez-vous été convaincu » à propos d'un discours qu'on n'a pas entendu ?

Mais ce qui creuse bien plus sûrement l'écart entre le sondage de CSA commenté par le parisien.fr et celui d'Opinionway pour le Figaro est que chacun fait, avec les chiffres et les mots, des petits raccourcis qui finissent par se transformer en grosses approximations tendancieuses.

Opinionway pose sa question (Sarko a-t-il été convaincant ou pas ? ) à ceux qui ont suivi l'intervention. Logique.

Oui mais tous les Français ne l'ont pas suivie. J'oserai même faire l'hypothèse qu'il y avait plus de personnes prédisposées à adhérer à ses propos parmi ceux qui l'ont suivie, que parmi ceux qui ont préféré voir Merryl Streep sur Canal+, ou faire autre chose de leur soirée.

Donc ce ne sont pas « les Français » qui l'ont trouvé convaincant, mais seulement « les téléspectateurs qui l'ont regardé ». Dont certains étaient peut-être convaincus d'avance. Chers M. Opinionway et M. Figaro, si vous nous entendez, merci de rectifier.

Pendant ce temps, CSA pose la question à ceux qui ont suivi l'intervention mais aussi à ceux qui en ont entendu parler sans pour autant l'avoir suivie. Son chiffre beaucoup plus bas conforte l'idée que ceux qui n'ont pas suivi l'émission, beaucoup moins convaincus, « plombent la moyenne ».

Etaient-ils d'avance hostiles à ses idées ? Ou bien sont-ils moins convaincus justement parce qu'ils n'ont pas eu l'heur d'être exposés à l'envoûtante parole présidentielle ? Impossible à savoir. Corrélation n'est pas causalité. Et de toute façon, comment peut-on répondre à la question « avez-vous été convaincu » à propos d'un discours qu'on n'a pas entendu ? De fait 12% répondent « je ne sais pas ».

Donc Opinionway et le Figaro pêchent par excès de sarkophilie : ils extrapolent à l'ensemble des Français les opinions de ceux qui regardent le Président parler à la télé.

L'article du Parisien donne, lui, plutôt dans la sarkophobie : pour enfoncer l'allocution présidentielle il se garde bien de distinguer les gens qui l'ont vue de ceux qui l'ont zappée. Il couvre donc une plus grande part des « Français » (en ce sens son usage de ce terme est moins abusif), mais la notion de conviction présuppose l'exposition à ce qui peut convaincre –en ce sens agglomérer ces deux populations est manipulateur.

Conclusion : « les chiffres, on leur fait dire ce qu'on veut » est la vérité de comptoir qui se vérifie le plus souvent !

A lire aussi sur Rue89
► Sarkozy et la crise : un peu de social et beaucoup de flou
► Référendum sur le minitraité européen : que voterait la France ?

Ailleurs sur le Web
► Sarkozy n'a pas convaincu 52% des Français, sur Le Parisien
► Face à la crise : Sarkozy a convaincu, sur Le Figaro