Sondage Ifop/Le Figaro sur la sécurité : la méthode en question

Ce sondage controversé est-il « populiste » ? Technologie, choix des questions : enquête sur les conditions de sa réalisation.

On a rarement d’aussi grosses surprises le matin du 6 août : les diverses mesures sécuritaires proposées par Nicolas Sarkozy et l’UMP réaliseraient un « carton plein » chez les Français, même de gauche. C’est Le Figaro qui estime que le Président « cartonne », en commentant le sondage qu’il a commandé à l’institut Ifop.

Ce sondage a tellement « cartonné » dans les médias qu’il en a éclipsé un autre, réalisé en même temps par CSA et paru le même matin dans L’Humanité. Il comprend deux questions comparables, qui suscitent pourtant des réponses différentes.

Aidé par plusieurs spécialistes du secteur, Rue89 a voulu en savoir plus sur ce plébiscite estival, sur sa méthode et sur les questions posées.

Fait-on des sondages en plein été ?

L’étude réalisée par l’Ifop ponctue une séquence politique sécuritaire particulièrement nourrie par les responsables de la majorité. Cette stratégie, « les Français » consultés par l’institut de Laurence Parisot et le quotidien de Serge Dassault viennent la valider massivement : entre 55% et 89% d’opinions favorables aux sept propositions sécuritaires évoquées.

Mais ces 1 003 Français interrogés en août, en pleine trêve des plagistes, sont-ils vraiment représentatifs de leurs 65 millions de compatriotes ? Dans La République des Pyrénées, l’éditorialiste Jean-Michel Helvig relève « qu’un institut déroge à un usage de la profession qui veut que l’on ne réalise pas d’enquêtes d’opinion pendant les vacances en raison des difficultés d’échantillonage ».

En consultant les sites des principaux instituts de sondages politiques en France (Ifop, CSA, BVA, LH2, Ipsos, TNS-Sofres, OpinionWay), on réalise que seuls deux d’entre eux ont publié des études politiques ces derniers jours : Ifop, donc, et CSA (on y reviendra plus bas).

Frédéric Micheau, directeur adjoint du département opinion de l’Ifop, confirme un commandement « traditionnel » du sondeur :

« Tu ne sonderas pas du 14 juillet au 15 août. Mais la société a évolué, et il est aujourd’hui moins difficile de toucher les gens, notamment grâce à l’Internet mobile. Ces derniers jours, l’actualité a continué d’être forte. »

Les sondés de l’été sont une « population atypique »

La trêve des plagistes aurait vécu, donc. Joint pendant ses vacances, le directeur du département politique et opinion de CSA, Jean-Daniel Lévy, confirme :

« C’était plus compliqué il y a quelques années, avec le phénomène des juilletistes et des aoûtiens, qui présentaient des profils trop différents. Mais aujourd’hui, avec les RTT et les portables, ce n’est plus le cas. »

Le Dr Panel, blogueur spécialiste des sondages sur Rue89, considère au contraire que « seuls restent ceux qui ne peuvent pas partir en vacances. Il s’agit donc d’une population atypique ».

Pour le sociologue Richard Brousse, un des animateurs de l’Observatoire des sondages, « les gens restent difficilement joignables quand ils sont en vacances ». Le site Owni relève une contradiction entre l’Ifop et le Credoc sur le nombre de Français ne partant pas en vacances : 60% pour l’institut contre 30% pour le centre de recherche.

Les sondages par Internet sont-ils fiables ?

Le sondage Ifop pour Le Figaro est un Cawi. Késako ? Computer-assisted web interviewing, un système créé dans les années 90 pour les sondages commerciaux (la manne financière des instituts de sondage), et qui gagne peu à peu les sondages politiques.

Quand on lui demande les raisons de ce choix, Frédéric Micheau répond en préambule « qu’il n’y a pas de mode de recueil [de l’opinion, ndlr] idéal ». Il avance ensuite des raisons financières, avec une économie de 30% par rapport à un sondage téléphonique, ce qu’apprécie une presse en crise.

Mais alors pourquoi L’Humanité, journal si affaibli que des groupes comme TF1 ou Lagardère sont entrés dans son capital, a-t-il commandé un sondage par téléphone à CSA ?

Pour un concurrent de l’Ifop, « le téléphone est plus fiable »

Réponse du dirigeant de cet institut, Jean-Daniel Lévy, qui « refuse de commenter l’étude de l’Ifop » et ne se prononce que sur la sienne :

« Le téléphone nous paraît plus fiable qu’Internet pour les sondages à caractère politique, parce qu’Internet ne permet pas de représenter correctement des catégories comme les personnes âgées et les catégories populaires de la population. »

CSA réalise des Cawi en matière politique, mais ils restent pour l’instant confidentiels. « Nous les publierons quand nous serons sûrs de toucher correctement ces catégories », ajoute Jean-Daniel Lévy.

Pour inciter les internautes à répondre, CSA leur offre des cadeaux divers (livres, bons d’achat, week-ends...). Ce n’est pas le cas de l’Ifop, assure Frédéric Micheau.

Autre différence entre les deux instituts : CSA interroge des « panélistes » recrutés à l’avance et consultés en fonction de leur appétence à répondre à des sondages politiques par Internet, là où l’Ifop achète des listings d’adresses e-mail. Frédéric Micheau raconte :

« Nous envoyons environ 10 000 e-mails, sans indiquer le sujet du sondage. Si les gens cliquent sur le lien, ils passent ensuite des filtres sur leur sexe, leur âge, leur région. Puis ils répondent au questionnaire. Environ 1 sur 8 à 10 répondants est sélectionné pour le sondage. »

Il n’y a aucun moyen de vérifier que les gens disent vrai

Car les gens doivent ensuite entrer dans les quotas. Une fois qu’un quota (par exemple, homme de 35 à 49 ans vivant dans une commune de 2 000 à 20 000 habitants) est rempli, les autres personnes répondant aux mêmes critères sont refusées. Tant pis si elles pensent différemment. Les gens disent aussi de quel parti ils se sentent les plus proches. Il n’existe aucun moyen de vérifier que l’homme a vraiment 42 ans et vit dans une commune de cette taille.

Ensuite, pour parvenir à une représentativité de l’opinion des Français dans leur ensemble, les données sont projetées par rapport aux résultats du dernier scrutin national, à savoir la présidentielle de 2007.

Pour le sociologue Richard Brousse, cette méthode introduit plusieurs biais : les personnes n’ayant pas Internet ne sont pas consultées et, surtout, elle « constitue des échantillons spontanés ». En clair, « les échantillons sont constitués a posteriori, en fonction du nombre de répondants. Ces deux biais introduisent un problème de représentativité. »

Dr Panel estime que les gens qui répondent à ces questionnaires peuvent être « des internautes “surfréquentants” ». « Beaucoup de gens vont accepter de répondre parce que le sujet les intéresse », ajoute Richard Brousse.

Les questions sont-elles biaisées ?

Dans L’Humanité-CSA et Le Figaro-Ifop, deux questions portent sur le même sujet : les Roms et l’atteinte à la vie de représentants de l’ordre par des personnes d’origine étrangère.

Pour la seconde, Le Figaro parvient à 70% d’opinions « favorables » au retrait de la nationalité de ces dernières, et 50% chez les sympathisants de gauche. Dans L’Humanité, 57% de l’ensemble « des Français » trouvent que c’est « nécessaire », 37% de gauche et, séparément, 51% d’extrême gauche.

Même phénomène pour le démantèlement des camps de Roms : 79% « des Français » y sont « favorables » dans Le Figaro, et 60% à gauche. Dans L’Humanité, 62% « des Français » jugent cette mesure « nécessaire », 43% à l’extrême gauche et 45% à gauche.

« La réponse est dans la question ! »

Pourquoi ? D’une part, les questions sont libellées très différemment. Elles sont beaucoup plus longues et précises dans L’Humanité, qui ne s’est intéressé qu’à ces deux questions et à plusieurs de leurs implications.

D’autre part, les questions de l’Ifop/Le Figaro sont « biaisées », selon nos deux experts. Ainsi, sur les Roms, « êtes-vous très favorable, plutôt favorable, plutôt opposé ou très opposé [au] démantèlement des camps illégaux des Roms ? »

« La réponse est dans la question ! », remarque Richard Brousse. « Comme les camps sont illégaux, on pourrait être étonné que 100% des sondés n’aient pas répondu favorablement. »

Frédéric Micheau répond que « si on n’avait pas précisé qu’ils sont illégaux, on aurait introduit un biais ». On lui demande pourquoi la question n’était pas, par exemple, de savoir si les gens sont favorables au respect de la loi qui oblige certaines communes à aménager des terrains d’accueil pour les Roms :

« C’est vrai, on aurait pu la poser. Mais on est obligé de faire des choix, et tous les choix sont mutilants [sic]. »

Proposées par l’institut, les questions font ensuite l’objet d’une discussion avec son client, le journal.

Autre curiosité, l’absence de possibilité de ne pas se prononcer. Le fameux « NSP ». Réponse de l’Ifop :

« Par téléphone, nous avons en moyenne 5% de NSP. Sur Internet ou dans les sondages par papier, ce taux est trois ou quatre fois supérieur, car c’est un “item-refuge” [un élément-refuge, ndlr] pour le sondé. Ça équivaut donc à recueillir des opinions faussées, et ce serait une faute professionnelle. »

« Les sondés par Internet sont des gens impliqués »

Jean-Daniel Lévy, de CSA, constate exactement le contraire :

« Il y a un peu moins de NSP que par téléphone, parce que les sondés par Internet sont des gens impliqués, qui portent un regard plus acéré sur la politique. »

Mais les méthodes des deux instituts (e-mails ou panel) sont différentes.

Dr Panel estime que ce sondage est « populiste » :

« A cause de la manière dont les questions sont rédigées, c’est la gravité des problèmes qui est plébiscitée, pas la pertinence des solutions proposées. Evidemment que je suis contre l’excision et l’assassinat de policiers ou de gendarmes, c’est horrible ! »

La méthode pèche, donc. « Mais rien ne prouve que les gens sondés par l’Ifop aient des opinions différentes des autres Français », conclut Dr Panel.

Le dessin de Chimulus