Les sondages d’opinion sont un incontournable de la politique et de la gouvernance modernes. Le présent document se veut un guide pratique sur l’analyse et l’interprétation critiques des sondages et de leurs liens avec l’opinion publique à l’intention des législatrices et législateurs ainsi que du personnel législatif. Il commence par un survol de l’évolution des techniques de sondage et de leurs forces et faiblesses respectives. Vu l’influence apparente des sondages sur le comportement des électrices et électeurs, diverses mesures ont été adoptées en Ontario et ailleurs pour réglementer la publication des sondages. Ce guide aborde les preuves appuyant ces effets allégués et les mesures législatives et réglementaires s’y rapportant. Il se termine par une série de conseils pour l’analyse critique et l’interprétation des résultats de sondages. 

Les sondages d’opinion sont un incontournable de la politique et de la gouvernance modernes. Depuis leur genèse durant la période d’après-guerre, les études empiriques systématiques sondant l’opinion véhiculent, pour les décideuses et décideurs, la promesse de données valides et fiables reflétant les sentiments du public à l’égard de telle ou telle question politique. Ces données aideraient les politiciennes et politiciens à mieux mener leur campagne et, une fois au pouvoir, à mieux répondre aux préférences du public et à mieux remplir leur charge publique.

D’aucuns font valoir que la montée des sondages d’opinion modernes est une bonne chose pour la démocratie, car ces sondages brossent un tableau plus complet, plus fidèle, de l’état d’esprit du public que les groupes plus restreints des citoyennes et citoyens qui noircissent les scrutins pour se faire entendre^[1]. D’autres sont plus critiques quant à la place des sondages dans la politique et la gouvernance contemporaines, dénonçant l’obsession pour les résultats de sondages, en particulier les « sondages-éclair » sur les tendances de l’heure dans le soutien d’un parti ou d’une candidature; ces critiques y voient de dangereuses distractions qui détournent l’attention des débats politiques de fond^[2].  

Le présent document se veut un guide pratique sur l’étude de l’opinion publique et l’interprétation des sondages d’opinion. Il commence par un survol de l’évolution des sondages d’opinion : des toutes premières études qualitatives aux échantillons aléatoires du public, jusqu’aux méthodes fondées sur les médias sociaux et les autres formes d’information autosélectionnée à grande échelle. Il est aussi question d’examiner les façons dont les sondages peuvent influencer l’opinion publique, ainsi que les mesures législatives et réglementaires adoptées pour régir l’emploi des sondages d’opinion. Le guide se conclut par des conseils pratiques pour les législatrices et législateurs et leur personnel concernant l’analyse et l’interprétation critiques des sondages dans le contexte en évolution rapide de la recherche sur ce type de sondages.

Premières études 

Les analyses du sentiment public existent depuis des siècles : s’il est vrai que les premiers emplois du terme opinion publique dans son acception moderne sont souvent situés au milieu du XVIIIe siècle^[3], l’intérêt des chefs d’État et de la population pour les opinions du grand public remonte à bien plus loin^[4] ​​​​​​. Les coups de sonde sans fondement scientifique qui consistaient en sondages « dans diverses tavernes, dans les bureaux de la milice et aux assemblées publiques » se sont généralisés dans la couverture journalistique des élections au XIXe siècle^[5]. Toutefois, ces méthodes présentent un problème quant à la capacité d’étayer une généralisation fiable de l’opinion animant la population dans son ensemble. 

La montée de l’échantillonnage aléatoire

Il faut attendre le début du XXe siècle pour voir apparaître des méthodes de sondage d’opinion fondées sur l’échantillonnage aléatoire^[6]. Comme Hillygus le fait remarquer, « [l]a possibilité d’extrapoler à la population entière à partir de l’échantillon réside dans l’échantillonnage aléatoire. Ces échantillons sont prélevés par sélection aléatoire. »^[7] Les sondages Gallup publiés avant l’élection générale des États-Unis de 1936 sont souvent décrits comme « le point de départ des sondages électoraux scientifiques »^[8]​​​​. Bien qu’il existe plusieurs méthodes différentes d’échantillonnage aléatoire (échantillonnage systématique, stratifié, etc.), le principe sous-jacent est pertinemment illustré par George Gallup et sa célèbre métaphore de la soupe : « du moment que le contenu de la casserole est bien mélangé, une seule cuillère à soupe suffit pour en connaître la saveur^[9] ». 

À condition d’opérer une sélection aléatoire des répondantes et répondants, une propriété statistique, appelée le théorème de la limite centrale, permet aussi de préciser le degré d’incertitude associé au caractère estimatif du sondage, ce qu’on exprime habituellement par la marge d’erreur (ou, en termes plus formels, la marge d’erreur de l’échantillon) et le degré de confiance qui en découle. La marge d’erreur est une mesure de variabilité, ou d’incertitude, qui reflète le fait que les résultats générés à partir de l’analyse d’un échantillon vont inéluctablement présenter des différences, ne serait-ce que légères, par rapport aux caractéristiques de la véritable population, simplement en raison du hasard (erreur d’échantillonnage aléatoire)^[10]. En effet, cette marge représente le degré de fidélité des opinions sondées auquel on peut raisonnablement s’attendre avec un certain degré de confiance par rapport aux opinions réelles de l’ensemble de la population ^[11]​​​​​. La probabilité que l’opinion sondée et l’opinion réelle concordent, c’est-à-dire que l’écart se situe dans la marge d’erreur, est exprimée par le degré de confiance, habituellement fixé à 95 % (19 fois sur 20). 

Les sondages font leur entrée au Canada

Les sondages d’opinion se sont généralisés un peu plus tard au Canada et au Royaume-Uni qu’aux États-Unis. Le premier sondage d’opinion reposant sur des données scientifiques au Canada « a été réalisé par le Parti libéral du Canada en 1942; le gouvernement de Mackenzie King cherchait à connaître le résultat probable d’un prochain plébiscite sur la conscription »^[12]. Entre 1942 et 1965, les gouvernements et formations politiques des ordres fédéral et provincial ont commencé à faire appel aux sondages d’opinion scientifiques. En effet, Lachapelle fait remarquer que : C’est lors de l’élection générale de 1945 que l’Institut canadien de l’opinion publique réalisa son premier sondage électoral; ce n’est cependant qu’à partir des années 60 que les sondages d’opinion connurent véritablement leur essor^[13]. 

C’est en 1965, d’ailleurs, qu’est apparu le premier sondage électoral à des fins de recherche au pays : l’Étude électorale canadienne (EEC). Depuis, l’EEC est réalisée à chaque élection fédérale. Cette étude permet une analyse statistique approfondie des facteurs qui façonnent les habitudes électorales de la population canadienne. 

En constante évolution, les méthodes de collecte de données utilisées aux fins de l’EEC reflètent les changements survenus dans l’industrie du sondage : les entrevues en personne ont fait place aux sondages téléphoniques par composition aléatoire, aux données recueillies au moyen d’un panel et aux enquêtes par courrier-réponse après l’élection^[14]​​​​​. Les récentes évolutions conceptuelles se signalent par l’arrivée des éléments en ligne, qui produisent des échantillons assez gros pour une analyse plus détaillée des comportements électoraux dans différentes régions du pays. 

La plupart des données sont transversales, c’est-à-dire recueillies lors d’entrevues réalisées à peu près au même moment, mais la collecte de données par un panel implique la répétition d’entrevues auprès des mêmes personnes à deux dates différentes ou plus. Ces données permettent des mises à l’épreuve des hypothèses causales (capacité de faire la distinction entre la causalité et la simple corrélation entre différentes variables) plus convaincantes que les ensembles de données transversales ainsi que des études plus approfondies des tendances dessinées par l’évolution des attitudes chez l’individu^[15].  

Méthodes de collecte de données

Les études comme l’EEC, de même que les sondages commerciaux et les sondages réalisés pour un gouvernement ou un parti politique, reposent sur une collecte de données qui épouse divers modes (ou méthodes). Ces modes de sondage appartiennent à trois grandes catégories : entrevue en personne, entrevue téléphonique et questionnaire à remplir par la personne sondée^[16]. Aucune méthode de collecte de données n’est parfaite; chacune a des forces et faiblesses caractéristiques ainsi que des incidences sur l’analyse et l’interprétation des données. 

Entrevue en personne 

Selon certains, la méthode des entrevues en personne permet, dans l’ensemble, d’obtenir « les données les plus riches et complètes qu’on puisse avoir dans un sondage d’opinion »^[17]​​​​​​. Autrefois le mode de sondage de prédilection, l’entrevue en personne a peu à peu été supplantée par l’entrevue téléphonique à partir du milieu du XXe siècle^[18]​​​​​. Bien que cette méthode de collecte de données soit de plus en plus rare, l’entrevue en personne demeure le mode utilisé pour certains sondages financés à l’échelle nationale pour le gouvernement ou la recherche (ex. : le sondage normalisé Eurobaromètre). 

Cette méthode présente plusieurs points forts, notamment par rapport à un problème attesté des études d’opinion publique, que l’on nomme souvent « biais de désirabilité sociale ». Dans les faits, les répondantes et répondants maquillent leurs attitudes, surtout sur une question controversée, pour se conformer davantage aux attentes et normes sociales perçues^[19]​​. Ce que les données expérimentales indiquent est peut-être contre-intuitif : l’entrevue en personne atténue le souci de désirabilité sociale chez le sujet en comparaison de l’entrevue téléphonique^[20].  

De plus, les sujets tendent à vouloir répondre plus volontiers à de longs questionnaires en personne et à se montrer plus coopératifs et ouverts lors des entrevues en personne^[21]. Les taux de réponse sont habituellement plus élevés que dans les sondages téléphoniques ou autoadministrés^[22]. Enfin, la personne qui mène l’entrevue en face à face peut directement observer le comportement non verbal et les caractéristiques du sujet et recueillir des données à cet égard (ex. : signes visibles de nervosité ou de désintérêt). 

Les entrevues en personne ont toutefois leurs inconvénients, notamment leur coût considérable (ex. : frais d’hôtel, de repas et de transport) et le potentiel accru d’effets causés par l’intervieweuse ou intervieweur, qui peut altérer les résultats du sondage de façon parfois imprévisible si sa formation est déficiente^[23].

Entrevue téléphonique 

L’entrevue téléphonique est sans doute la méthode de collecte de données la plus courante dans les sondages d’opinion^[24]. À la différence de l’entrevue en personne et du questionnaire postal à remplir soi-même, le sondage téléphonique peut être réalisé très rapidement. Même si les études d’opinion menées par téléphone, comme l’EEC pendant une campagne électorale et son volet post-électoral, exigent des efforts soutenus pour communiquer de nouveau avec les répondantes et répondants sélectionnés, il n’est pas rare qu’un sondage commercial soit réalisé en une seule soirée (moyennant acceptation d’un taux de réponse plus faible). 

Le recours aux technologies d’interview téléphonique assistée par ordinateur (ITAO) accélère encore davantage la collecte et l’analyse des données et en améliore l’efficacité. La personne qui mène l’ITAO prend place devant un terminal à écran et inscrit les réponses directement dans le système, ce qui fait l’économie d’un processus supplémentaire de saisie de données et permet la prise de totaux en cours au fil du sondage^[25]​​​​​​. Certaines sondeuses et certains sondeurs recourent à des messages préenregistrés et à un système de reconnaissance vocale interactive de préférence à l’ITAO. Malgré certains avantages (comme la normalisation de la formulation des questions, la rapidité accrue et les coûts moindres en comparaison de l’ITAO), cette méthode soulève des préoccupations concernant les taux de réponse anormalement faibles et les difficultés additionnelles associées au fait d’avoir à déterminer qui dans la maisonnée répond au sondage^[26].

En ce qui concerne le coût, le sondage téléphonique se situe à mi-chemin entre l’entrevue en personne, la méthode la plus onéreuse, et l’économique questionnaire (postal ou en ligne) à remplir par le sujet. Naturellement, le sondage téléphonique a aussi son lot de difficultés. Depuis l’augmentation de l’identification téléphonique, la diminution des taux de réponse à ce type de sondages pose problème, notamment pour la représentativité des échantillons obtenus par cette méthode (l’identification téléphonique est toutefois loin d’être le seul facteur d’augmentation des taux de non-réponse, et cette problématique touche toutes les méthodes de sondage à un degré variable)^[27]. En effet, les gens répondent de plus en plus rarement aux appels provenant d’un numéro inconnu. Enfin, les sujets sont souvent moins patients avec les questionnaires prolongés et un peu plus méfiants que lors d’une entrevue en personne^[28].  

Questionnaires à remplir par le sujet 

Enquêtes postales 

Les questionnaires à remplir soi-même sont traditionnellement des sondages que le sujet remplit sur papier et retourne à l’équipe de recherche par la poste. Il y a un gros avantage économique : les enquêtes postales ne nécessitent pas d’intervieweuses et intervieweurs et reviennent habituellement beaucoup moins cher que les entrevues téléphoniques ou en personne. L’absence d’intervieweuse ou intervieweur élimine les risques potentiels d’influence de ce côté. De plus, les questionnaires à remplir par le sujet peuvent diminuer le risque de biais de désirabilité sociale^[29]​​​​​​. 

Les enquêtes postales ont leur lot d’inconvénients. Les taux de réponse sont souvent plus faibles qu’aux entrevues téléphoniques ou en personne, quoique certaines données indiquent que cet écart est en diminution, car les taux de réponse des autres modes de collecte de données sont en déclin^[30]​​​​​​. Autre désavantage important : il est impossible de savoir quel membre du ménage répond au sondage, ni de recueillir diverses données contextuelles pertinentes que les autres modes permettent souvent d’obtenir (ex. : réactions aux questions, délai de réponse à certaines questions ou ordre des réponses aux questions). Il y a aussi les limites quant au type de questions pouvant être posées par ce mode (ex. : questions à choix multiple, ou questions uniquement posées aux personnes réagissant d’une certaine façon à une invite). Il importe aussi de souligner que cette méthode est relativement coûteuse en temps : l’équipe de recherche doit habituellement attendre plusieurs semaines avant de pouvoir recueillir les données et analyser les résultats^[31]. 

Sondages en ligne 

Les sondages en ligne (sur Internet ou portail Web) se généralisent, tant dans la recherche universitaire que dans l’industrie du sondage en général, et supplantent largement les enquêtes postales comme mode dominant de sondage par questionnaire à remplir soi-même^[32]. Diverses procédures d'échantillonnage probabiliste et non probabiliste peuvent servir aux sondages en ligne. Les méthodes probabilistes prennent habituellement la forme de sondages à mode mixte avec une option Web destinés à tel ou tel groupe d’internautes ou à la population entière^[33].  

Hillygus fait à ce propos une remarque pertinente : [l]a plupart des sondages sur le Web, y compris ceux des sociétés bien connues […] reposent sur des échantillons non probabilistes recueillis en ligne. En pareil cas, on recrute les répondantes et répondants (de façon non aléatoire) par diverses techniques : annonces sur site Web, courriels ciblés, etc.^[34]  

Les échantillons peuvent être recrutés par les sondeuses et sondeurs par des méthodes traditionnelles d’échantillonnages probabilistes comme la composition aléatoire ou encore des méthodes non probabilistes pouvant constituer un vivier de répondantes et répondants avec qui l’équipe peut communiquer de nouveau facilement et à peu de frais^[35]. Par ailleurs, le sondage probabiliste à mode mixte offre simplement aux sujets la possibilité de répondre au sondage par téléphone ou en ligne^[36]. Le coût plutôt faible et la rapidité de collecte de données en ligne, à quoi s’ajoute la flexibilité des types de questions (par exemple, facilité d’utilisation du matériel audio et vidéo) sont les principaux avantages de ce type de sondage.   

Les difficultés associées aux sondages probabilistes en ligne touchent le plus souvent les faibles taux de réponse ainsi que le degré de représentativité des échantillons^[37]. Ces difficultés peuvent être atténuées, dans une certaine mesure, par une pondération adéquate (il en sera question dans la dernière section du présent guide). Une étude réalisée par le Pew Research Centre en 2014 au sujet des effets des différents modes de collecte de données sur les résultats des sondages (effets des méthodes) d’après une répartition aléatoire des sujets entre sondages téléphoniques et Web, a révélé que les différences d’un mode à l’autre étaient en moyenne plutôt modestes et que « de nombreuses questions de sondage d’emploi courant n’étaient associées à aucun effet de méthode »^[38]. Toutefois, des différences plus importantes ont été observées dans les réponses aux questions sur certains sujets, en particulier « les questions où les biais de désirabilité sociale pouvaient influer sur les réponses »^[39]. Ceci comprend les questions touchant à des sujets très personnels (comme la satisfaction dans la vie ou les difficultés financières) et les perceptions de discrimination à l’égard de groupes minoritaires. Dans ce dernier cas, les sujets répondant directement à une personne au téléphone avaient plus tendance à dire que la discrimination était courante^[40].  

Méthodes d’échantillonnage non probabiliste

Comme Asher le fait observer, « l’échantillonnage probabiliste est habituellement cité comme le principal élément garant du caractère scientifique d’un sondage ou d’une étude »^[41]. Cependant, diverses méthodes de réalisation des sondages d’opinion d’usage courant au gouvernement, dans la recherche et chez les firmes spécialisées dans le sondage d’opinion reposent sur des échantillons non probabilistes. Selon le sujet traité et les modes d’utilisation et d’interprétation de ces méthodes, celles-ci peuvent aussi donner de précieux renseignements sur l’opinion publique. Ces méthodes ont toutefois d’importantes limites quant à la capacité de refléter fidèlement les attitudes du public.

Premièrement, nous l’avons dit plus haut, de nombreux sondages sur le Web ne reposent pas sur des méthodes d’échantillonnage probabiliste. Les procédures comme l’échantillonnage par quotas (recrutement d’un nombre fixe de répondantes et répondants dans certaines catégories démographiques) ou la pondération peuvent aider à s’assurer qu’un échantillon reflète la population dans son ensemble. Cependant, il est impossible d’évaluer en quoi les répondantes et répondants diffèrent de la population générale pour de nombreuses caractéristiques pouvant avoir un lien avec les résultats, pas plus qu’il n’est possible de calculer la marge d’erreur d’échantillonnage associée aux résultats^[42]. Et ces sondages présentent une qualité très variable; dans une étude intégrée portant sur différents sondages en ligne réalisés par échantillonnage non probabiliste, le Pew Research Centre a conclu que « les échantillons réalisés par les méthodes plus raffinées avec des procédures de pondération, et des périodes de sondage plus longues, produisent des résultats plus précis »^[43].

Les groupes de discussion, largement utilisés dans les secteurs public et privé, forment des échantillons non probabilistes de taille modeste. Bien qu’ils fassent souvent penser à des études de marché ou à des essais de produits, les groupes de discussion sont d’usage courant chez les gouvernements, les stratèges de parti, les firmes de sondage et les chercheuses et chercheurs^[44]. Même si leur vocation n’est pas d’être pleinement représentatifs, ils permettent de recueillir des données plus nuancées sur l’opinion publique qu’il est souvent possible de le faire dans le contexte plus structuré du sondage habituel. Ils peuvent donner jour à des hypothèses, mises à l’essai ultérieurement à l’aide d’échantillons probabilistes^[45].  

La disponibilité accrue de très volumineuses sources de données en ligne sur l’opinion publique, notamment les données tirées des recherches sur le Web, les applications Web, les applications intégrées aux appareils mobiles et les médias sociaux, combinée à la difficulté croissante d’obtenir des échantillons représentatifs (biais de non-réponse) susmentionnée, a amené certaines chercheuses et certains chercheurs à se pencher sur d’autres méthodes d’échantillonnage non probabiliste^[46]. Par exemple, au cours des dernières élections fédérales et provinciales, The Agenda, l’émission phare de TV Ontario (TVO) sur l’actualité, s’en est presque totalement remise aux sondages d’opinion de « Polly » d’Advanced Symbolics, source qui prend le pouls de l’opinion publique à l’aide de données des médias sociaux (pour les tendances lourdes et les projections de nombre de sièges). D’autres études ont combiné des données pondérées tirées d’applications Web comme Boussole électorale, hébergée par la SRC, à des échantillons probabilistes traditionnels afin d’en savoir plus sur l’opinion publique à propos de questions politiques^[47]. 

On croit intuitivement que les sondages et leur publication exercent une influence sur l’opinion publique. Pour diverses raisons, les humeurs dans l’appui électoral d’un parti ou d’une candidature peuvent donner à croire à une influence sur le comportement des électrices et électeurs. Dans le système de circonscription uninominale à scrutin majoritaire du Canada, d’aucuns disent recourir au vote utile, même quand des études indiquent que les effets des votes utiles sur les résultats électoraux sont plus modestes que les gens ont tendance à le croire48. En effet, des initiatives ont été créées avec l’intention de produire des conseils, circonscription par circonscription, pour les électrices et électeurs intéressés à y aller d’un vote utile, en partie à la lumière des résultats de sondages^[49]. 

Les affirmations sur les sondages et leur influence sur le public sont omniprésentes. L’importante étude de Guy Lachapelle, Les sondages et les médias lors des élections au Canada : le pouls de l’opinion, volume 16 d’une collection d'études réalisées pour le compte de la Commission royale sur la réforme électorale et le financement des partis, brossait un tableau avec plus de 90 dossiers présentés à la Commission, où l’on observe plusieurs influences possibles, notamment :  

• le ralliement au vainqueur (on se rallie derrière la candidate ou le candidat qui mène les sondages);
• le ralliement au candidat en difficulté (on se rallie pour appuyer la candidate ou le candidat qui tire de l’arrière);
• l’effet démobilisateur (on s’abstient par certitude de gagner);
• l’effet mobilisateur (les sondages incitent à aller voter – ils informent la citoyenne et le citoyen qu’il y a une élection);
• le vote stratégique (l’électrice ou électeur décide pour qui voter en fonction de la popularité des partis);
• le libre arbitre (on vote pour faire mentir les sondages)​​​​^[50].

Toutefois, Lachapelle fait remarquer que la question de savoir lequel de ces effets est le plus fortement étayé par les preuves demeure une question controversée dans la recherche. Le ralliement au candidat en difficulté, l’effet démobilisateur et le libre arbitre semblent plausibles, quoique dans l’ensemble, les preuves indiquent que les effets vont probablement dans le sens contraire : les sondages montrant une candidate ou un candidat en avance ont tendance à favoriser la campagne de cette candidature^[51], comme le constatent Traugott et Lavrakas : [l]es résultats de sondage qui indiquent qu’une candidate ou un candidat est en avance ou gagne du terrain peuvent stimuler les contributions ou les bénévoles, galvaniser le personnel, ou même faire augmenter le nombre de votes en fin de campagne^[52]. 

Il va sans dire que toute généralisation fidèle des effets des sondages sur l’opinion publique pose dans tous les cas un défi. Le contexte institutionnel (notamment le système électoral), le déroulement de l’élection (notamment l’écart séparant la candidature en tête de celle qui tire de l’arrière) et l’histoire électorale de la circonscription; voilà autant de facteurs pouvant influer sur la nature des effets des sondages. 

Les sondages-pression

Au-delà des effets des sondages sur les choix des électrices et électeurs, il se peut qu’un sondage soit administré de manière à influencer directement le comportement des électrices et électeurs. Quand des sondages sont menés par des groupes dont l’objectif est d’influencer les attitudes ou comportements politiques chez les sujets plutôt que de fidèlement évaluer l’opinion publique, on parle de « sondagepression » (de l’anglais push poll). Le sondage-pression peut être défini comme « une forme de campagne négative camouflée sous couleur de sondage politique ». Ces sondages relèvent en fait du télémarketing politique – appels téléphoniques censés être un sondage, mais qui visent, en réalité, à influencer un grand nombre d’électrices et d’électeurs pour modifier les résultats d’une élection^[53]. 

Le potentiel des sondages comme moteurs d’influence des comportements des électrices et électeurs a suscité des mesures législatives pour l’imposition de diverses exigences s’appliquant aux sondages et à leur publication, surtout en fin de période électorale. Les restrictions les plus courantes touchent le moment où les sondages sont publiés pendant la campagne électorale et l’information devant être divulguée par les gens qui les publient. 

Premières mesures de réglementation 

Comme Lachapelle le souligne, même si les mesures de réglementation des sondages ont débuté dès 1939 au Canada, quand la Colombie-Britannique a promulgué une loi interdisant la publication de sondages pendant une campagne électorale, ce n’est que dans les années 1970 que la question a vraiment retenu l’attention^[54]. Entre 1976 et 1979, l’Assemblée législative de l’Ontario a examiné plusieurs projets de loi qui interdiraient ou restreindraient les sondages en période électorale; aucune de ces lois n’a été promulguée. À l’échelon fédéral pendant cette même décennie, pas moins de 22 projets de loi ont été déposés en vue de restreindre les sondages en période électorale^[55]. 

La Commission Lortie 

C’est la Commission royale sur la réforme électorale et le financement des partis (la Commission Lortie) qui a officialisé la volonté de réforme au niveau fédéral, traitant la question dans son rapport de 1991. Dans ce rapport, elle recommandait au gouvernement fédéral d’interdire la publication de sondages à partir de minuit la veille d’un jour d’élection jusqu’à la fin du scrutin le soir de l’élection, afin d’atténuer les effets des sondages de dernière minute, auxquels les formations politiques ne pouvaient pas répliquer dans bien des cas. S’ajoutant à l’interdiction de publicité, cette interdiction ménagerait aux électrices et électeurs une « période de réflexion » en fin de campagne électorale, donc elles ils n’auraient pas à évaluer les différents partis et leurs candidates et candidats^[56].

Pour donner suite à ce rapport, Ottawa a présenté un projet de modification de la Loi électorale du Canada en 1993 en vue d’interdire la publication de sondages pendant les 72 dernières heures des campagnes électorales fédérales. Ce projet a reçu l’aval des partis de l’opposition. La période de 72 heures, plus longue que celle recommandée par la Commission Lortie, émanait de la commission parlementaire nommée pour l’examen des recommandations de la Commission. Thomson et Southam, les géants journalistiques, ont contesté cette modification au tribunal, affirmant qu’elle portait atteinte à l’alinéa 2b) de la Charte canadienne des droits et libertés, qui garantit le droit à la liberté d’expression, et à l’article 3, qui garantit le droit de vote. La Cour de l’Ontario et la Cour d’appel de l’Ontario se sont prononcées en faveur du gouvernement, mais au bout du compte, la Cour suprême a donné raison aux journaux par une majorité de cinq juges contre trois^[57].

Cadre fédéral 

Dans la foulée de cet arrêt, l’Assemblée législative a déposé une nouvelle série de modifications à la Loi électorale du Canada en 1999, avec pour effet d’interdire la publication de résultats de sondages le jour d’une élection, soit une période plus courte que les 72 heures de la période originale de non-publicité^[58].

Dans sa version actuelle, la Loi renferme des dispositions ayant trait à la communication des résultats de sondages au public en période électorale^[59]. Dépendamment de facteurs comme la personne qui communique ces résultats (ex. : la première personne qui les transmet), des exigences particulières peuvent s’appliquer à la divulgation de certaines données d’un sondage électoral (ex. : nom de la personne ou de l’organisation ayant réalisé le sondage, date ou période du sondage, population d’échantillonnage des répondantes et répondants)^[60]. Le commanditaire d’un sondage électoral est tenu de publier un rapport sur les résultats du sondage qui doit expliquer les méthodes employées pour recueillir les données, la formulation des questions du sondage et, le cas échéant, les marges d’erreur des données recueillies^[61]. 

La Loi renferme aussi des dispositions concernant les sondages électoraux administrés (directement ou indirectement) par un tiers (personne ou entité autre qu’un parti politique légalement inscrit dans une province) en période préélectorale ou électorale^[62]. Élections Canada explique en quoi cela consiste : 

Un sondage électoral est une activité réglementée lorsqu’il est mené par un tiers ou en son nom pendant une période électorale et que les résultats sont utilisés :

• soit pour déterminer s'il y a lieu d’organiser et de tenir des activités réglementées;
• soit pour organiser et tenir des activités partisanes ou diffuser des messages publicitaires^[63]. 

Cadre ontarien 

La Loi sur le financement des élections renferme une interdiction de publier de nouveaux résultats de sondage électoral le jour du scrutin dans une circonscription avant la fermeture de tous les bureaux de vote de cette circonscription. L’interdiction s’applique aux personnes, aux organisations et aux entités (y compris les partis politiques, les associations de circonscription, les sociétés, les syndicats et les tiers)^[64] .

Dans la Loi, le terme « sondage électoral » désigne un « [s]ondage sur les intentions de vote des électeurs, sur le sens de leur vote ou sur une question à laquelle un parti politique ou un candidat est associé »^[65]. La Loi ne dit rien sur la manière dont les sondages électoraux doivent être réalisés. 

Elle contient des dispositions régissant la publicité politique, mais exclut notamment plusieurs types d’actions de la définition du terme publicité politique, comme « la communication, sous quelque forme que ce soit, par une personne, un groupe, une personne morale ou un syndicat, directement à ses membres, employés ou actionnaires, selon le cas » et « les appels téléphoniques visant uniquement à inciter des électeurs à voter^[66] ». 

Sondages-pression 

Nous l’avons vu dans la section précédente, les sondages-pression peuvent constituer une forme de publicité politique, donc déjà être assujettis à des restrictions. Et certains États américains ont promulgué des lois qui définissent et imposent explicitement des restrictions à ce type de sondage.

Par exemple, la loi sur les élections du New Hampshire (Title LXIII: Elections - Chapter 664 - Political Expenditures and Contributions) prévoit des dispositions sur les sondages-pression, lesquelles s’appliquent à divers types d’élections (élection primaire d’État, élection générale, élection spéciale, primaire présidentielle, élection municipale, élection scolaire, élection de district rural)67. Le département décrit comme suit les exigences s’appliquant à la tenue d’un sondage-pression : 

• [informer] le répondant de l’identité de la candidate ou du candidat à une charge publique au nom de qui, en faveur de qui, ou contre qui l’appel est effectué; et 
• [donner] le nom de la candidate ou du candidat; et
• [fournir] le numéro de téléphone utilisé pour réaliser le sondage-pression^[68]. 

En 2012, un article du Boston Globe contenait l’affirmation suivante : « Les résidents sont peut-être la population la plus assiégée par les sondages au pays […] Afin de protéger l’électorat, l’État a interdit en 1998 certaines formes de sondages-pression, une pratique consistant à implanter de l’information négative sur une candidate ou un candidat »^[69]. La commission fédérale des élections a émis un avis consultatif en 2012 concernant la loi sur les sondages-pression et les obligations de déclaration de l’État lors des sondages téléphoniques menés au nom d’une candidate ou un candidat, de ses comités de campagne ou de comités politiques fédéraux. 

Quelles sont les questions essentielles à se poser au moment d’examiner un sondage d’opinion? Il importe de souligner que là non plus, la perfection n’est pas de ce monde. Les différentes méthodes amènent chacune leurs compromis entre des caractéristiques tels que le coût, la rapidité, le degré de détails, l’erreur d’échantillonnage, les effets causés par l’intervieweuse ou intervieweur et le biais de nonréponse. Les questions ci-dessous se veulent un guide des principaux points à considérer dans l’évaluation des résultats d’un sondage d’opinion, et dans la pondération de leurs forces, de leurs faiblesses ainsi que de leurs utilisations et interprétations adéquates. 

1. Qui a réalisé et commandité le sondage? 

C’est le facteur le plus simple, mais il vaut la peine d’en tenir compte dès le départ^[70]. Le fait qu’un sondage soit commandité par une campagne ou un groupe d’intérêt résolument intéressés par un certain résultat ne jette pas nécessairement le discrédit, mais ce peut être le signe qu’il faut en examiner la méthodologie avec une attention plus soutenue. 

2. Comment les données ont-elles été recueillies? Quel a été le processus d’échantillonnage? ​​​​​

Différents modes de collecte de données – en personne, téléphonique, par la poste ou en ligne – présentent différentes forces et faiblesses (voir la section sur les méthodes de collecte de données). D’aucuns avancent que la méthode d’échantillonnage n’est pas habituellement la source principale d’inexactitudes dans les résultats de sondages menés par les firmes réputées^[71], et en effet, nous l’avons vu plus haut, la recherche fait état d’effets de méthode relativement modestes^[72], mais malgré tout, il importe pour les critiques des sondages de connaître la méthode d’échantillonnage utilisée, celle-ci pouvant avoir des incidences sur la bonne méthode d’analyse et d’interprétation des données. Par exemple, les sondages en ligne peuvent reposer sur des méthodes probabilistes (l’échantillonnage à partir des adresses ou par la composition aléatoire, avec accès Internet fourni aux personnes qui en sont dépourvues), mais la plupart sont fondés sur des méthodes non probabilistes. En présence de méthodes non probabilistes, les erreurs d’échantillonnage sont impossibles à calculer^[73]. 

De plus, bien que les effets de méthode soient modestes dans la plupart des cas, des questions sur certaines problématiques sont plus susceptibles d’être touchées par le mode de collecte de données que d’autres. Le mode de collecte de données se répercute tout particulièrement sur les questions sur des sujets controversés ou délicats, notamment les sujets très personnels (ex. : degré de satisfaction financière ou dans la vie)^[74]. Quand ces questions suscitent l’intérêt, il importe de noter que les sondages par entrevue téléphonique directe peuvent être particulièrement vulnérables aux effets du biais de désirabilité sociale^[75].

La méthode de collecte de données peut aussi se répercuter sur le taux de réponse au sondage. Toutefois, aucune méthode n’est à l’abri du biais de non-réponse (voir le conseil 5), et il importe de reconnaître les compromis inhérents au mode de collecte de données. Par exemple, Hillygus fait la remarque suivante : [l]es technologies comme le système de reconnaissance vocale interactive peuvent réduire les biais d’information attribuables aux interactions lors des entrevues humaines, mais ils augmentent le risque d’erreur de non-réponse ou aggravent les problèmes de couverture, les gens étant moins enclins à répondre aux questions posées par un robot^[76].

3. Quelle est la marge d’erreur? 

Nous l’avons vu plus haut, il est impossible de calculer la marge d’erreur d’un sondage en ligne non probabiliste. Mais pour les sondages réalisés par une méthode traditionnelle d’échantillonnage probabiliste, la marge d’erreur constitue un indicateur important pour savoir si l’échantillon représente fidèlement les opinions du grand public. 

De plus, il importe de noter que lorsque des sous-groupes sont étudiés – par exemple, quand on sonde les intentions de vote chez les moins de 35 ans dans un sondage pour toute la population canadienne – l’erreur d’échantillonnage pour les estimations doit être calculée à partir de cette taille d’échantillon réduite, ce qui augmente beaucoup la marge d’erreur^[77].

4. Les résultats ont-ils été pondérés? Si oui, comment? 

Comme Asher le fait remarquer, « la pondération sert à compenser les biais – c’est-à-dire à faire en sorte que les caractéristiques démographiques de l’échantillon reflètent mieux les caractéristiques de la population »^[78]. En appliquant à la population des données démographiques comme le sexe, l’âge, l’identité ethnique, etc., les sondeuses et sondeurs peuvent ajuster les résultats du sondage de façon à refléter plus exactement les caractéristiques démographiques connues. Il faut toutefois noter que la pondération peut aussi se répercuter sur la marger d’erreur. Comme le souligne le Pew Research Centre, si l’on ne tient pas compte de ces effets, les personnes qui communiquent les résultats de sondage pourraient bien faire état d’un degré de précision plus élevé que la réalité^[79]. 

5. Quel est le taux de réponse? 

Les études montrent que les taux de réponse sont en déclin depuis longtemps, ce qui soulève des interrogations quant à la qualité des sondages^[80]. Pour cette tendance, la grande préoccupation, c’est le biais de non-réponse, c’est-à-dire lorsque les sujets refusant de répondre au sondage ou non joignables sont systématiquement différents de ceux qui y répondent. L’augmentation du taux de non-réponse fausse les prémisses qui sous-tendent l’échantillonnage aléatoire ou probabiliste, ce qui remet de plus en plus en question la représentativité démographique des échantillons. 

Ce déclin des taux de réponse est attribué à différentes causes possibles, notamment la montée en popularité du téléphone cellulaire avec identification de la ligne appelante (qui permet de filtrer les appels provenant d’un numéro inconnu), l’hostilité croissante à l’endroit de chercheuses et chercheurs légitimes à cause du télémarketing intrusif et des sondages-pression, et la méfiance sociale accrue^[81]. 

Le taux de réponse peut aussi varier selon le mode et le délai de collecte des données (les sondages commerciaux réalisés en une seule soirée ont toujours des taux de réponse moindres que les études universitaires lors desquelles on communique de nouveau avec un grand nombre de répondantes et répondants sélectionnés au hasard)^[82]​​​​. Le point à retenir, c’est que plus l’échantillon probabiliste d’origine est conservé, plus grand sera le degré de confiance avec lequel on pourra affirmer que les causes potentielles de biais n’ayant pas été observées (non mesurées par le sondage) ne diffèrent pas systématiquement entre les répondantes et répondants du sondage et la population générale.  

6. Le questionnaire est-il disponible dans sa version intégrale? 

Il est important d’évaluer le questionnaire (instrument) au moment d’examiner les résultats du sondage, pour plusieurs raisons. Premièrement, la formulation des questions peut avoir une forte incidence sur les réponses. Les problèmes associés aux questions à deux volets ou complexes, à la clarté des questions, ou aux questions délicates ou dirigées peuvent avoir des effets importants sur les résultats du sondage^[83].   

Le contexte et l’ordre des questions peuvent aussi influer sur les résultats. Ces effets peuvent être subtils ou plus importants; Asher va jusqu’à soutenir que « l’ordre stratégique des questions est l’un des moyens les plus efficaces de “piper les dés” dans un sondage »^[84].  

Enfin, il faut évaluer le questionnaire en se demandant si les questions sondent véritablement les sujets à propos desquels les répondantes et répondants exprimeront probablement des opinions authentiques. Cet élément, souvent décrit comme le problème de l’absence d’opinions, prend une importance particulière lorsqu’il s’agit d’estimer les opinions de la population plutôt que les variables descriptives de soutien orienté^[85]. 

7. De façon générale, l’administration du sondage est-elle totalement transparente dans sa méthodologie et les résultats?

En dernier lieu, il peut être utile d’évaluer dans quelle mesure les sondeuses et sondeurs sont ouverts et transparents, non seulement dans leur questionnaire, mais aussi pour d’autres éléments de leur méthodologie et des résultats obtenus. Par exemple, on peut se demander si elles et ils ont publié un rapport complet faisant état de leurs méthodes, y compris leur stratégie d’échantillonnage, leur mode de collecte de données, les dates auxquelles les données ont été recueillies, et les résultats. S’il y a refus de communiquer cette information – toute indication d’une « boîte noire » contenant vraisemblablement une information détaillée et reproduisible sur les méthodes –, il est alors raisonnable d’y voir le signe qu’un examen plus rigoureux s’impose.

La firme de sondage est-elle disposée à communiquer ses microdonnées (résultats individuels anonymisés) à d’autres chercheuses et chercheurs aux fins d’examen et d’analyse? Si ces données sont sous embargo (pratique courante dans la recherche universitaire et non universitaire consistant à frapper d’embargo les données pour une période de six mois à deux ans), est-ce qu’une date est fixée pour la consultation des données par les pairs?     

Malgré les lamentations des gens qui soutiennent que les sondages d’opinion sont des distractions aux débats de fond ou qu’ils ont supplanté l’audace dans le leadership politique, ces sondages ne semblent pas près de céder leur place centrale dans les débats publics et les décisions touchant aux politiques publiques^[86]. Les sondages permettent de prendre le pouls du public sur des questions clés et d’aider les décideuses et décideurs politiques à servir plus efficacement. Ils peuvent aussi aider les législatrices et législateurs à évaluer plus précisément la popularité de différentes interventions politiques. Quand on pose les bonnes questions et que les affirmations des sondages sont rigoureusement évaluées à la lumière de leurs données, le public peut se sentir plus confiant dans son interprétation de cette source essentielle d’éléments de preuve sociaux scientifiques.