Les sondages sont-ils fiables ?

Y’a encore des gens qui votent sur le sondage d’hier. Alors j’en profite pour écrire sur le sujet et te remettre au passage le lien vers le sondage. Je n’avais pas donnée d’heure limite, hier. Alors disons qu’on fait le compte-rendu demain (et donc qu’on ferme les votes) si j’ai le temps de le rédiger.

À chaque élection j’entends cette rengaine. Parfois par les politiciens eux-mêmes. Par exemple Yannick Jadot a déclaré : "Les sondages se sont plantés à toutes les dernières élections".

Ce genre de propos me fascine. Qu’il soit tenu est normal : il fait sa tambouille. Mais qu’il soit cru me fascine.

On a vu les sondages des présidentielles précédentes, on a l’exemple devant nos yeux que ça fonctionne. Alors pourquoi sommes-nous si facilement propices à dire qu’ils ne fonctionnent pas ?

#1 | On se rappelle plus facilement des ratés

C’est un principe de psychologie basique : on retient plus facilement les événements extraordinaires. Le paradoxe étant qu’on ne rend pas ensuite compte du côté extraordinaire. Ce phénomène explique pourquoi on a davantage peur pour son enfant du terrorisme que de la noyade dans une piscine.

Parce qu’un enfant qui se noie dans une piscine c’est tellement courant (une quarantaine par an) que ça ne fait pas la une des journaux.

Or, un sondage qui se trompe au point de se tromper sur les deux qualifié·es c’est rare. Et c’est pour ça qu’on en fait tout un foin.

Mais on oublie ensuite que c’est précisément la rareté qui fait que c’est surprenant.

Depuis 2002, à une exception près, les sondages ne se sont jamais trompés sur les deux finalistes qui allaient se retrouver au 2e tour de l'élection présidentielle. Et ce dès le mois de janvier, les sondeurs annonçaient le bon duel. Bien évidemment, la seule mauvaise prédiction se situe justement en 2002

Et si on remonte plus loin dans le temps, les deux ratés sont 2002 et 1995.

Sur 10 élections présidentielles on a donc eu 2 ratés. En 1995 on annonçait Jospin derrière Chirac et il a fini devant (mais c’était quand même les deux bons finalistes).

2002 étant vraiment LE raté.

#2 | On oublie que le futur est imprévisible

Une fois qu’on a dit qu’un sondage peut se tromper, on a rien dit. Il n’existe aucune manière de prédire le futur avec exactitude.

Pire encore, parfois on se base sur les sondages longtemps avant l’élection. Par exemple, un an ou six mois avant. Même un mois avant.

Comme s’il ne se passait rien entre !

Les premiers sondages sont effectués par l’Institut Français d’Opinion Publique (IFOP) trois mois avant l’élection, en septembre 1965. Ils donnent le Général De Gaulle largement réélu dès le premier tour, avec un score de 68% contre 23% seulement à Mitterrand.

Assuré de sa réélection, De Gaulle néglige le nouveau média qu’est la télévision et n’utilise pas son temps de parole (dans un premier temps). Ce n’est pas le cas de ses adversaires, François Mitterrand et Jean Lecanuet, conscients tous deux de l’importance qu’avait joué la télévision dans le succès de John Kennedy face à Richard Nixon lors de l’élection américaine de 1960.

À la veille du scrutin, les sondages améliorent le score de François Mitterrand de 23% à 27% d’intentions de vote.

Quant à Charles de Gaulle, il chute de 68% à 43% dans les intentions de vote. Lecanuet, qui a démarré à 4,5% dans les sondages du mois d’octobre (il n’était pas évalué avant), est crédité de 20% des intentions de vote.

Finalement, De Gaulle recueille 44,65% des votes au premier tour et est mis en ballotage par un François Mitterrand à 31,72%, en raison notamment du bon score de Jean Lecanuet, qui recueille 15,57% des suffrages. Ce ballotage n’avait pas été prévu par les sondages, 1 mois seulement avant l’élection !

C’est un bon exemple ici. Le résultat final ne dit pas que les sondages sont faux. Le résultat final rappelle que le sondage est la saisie de l’opinion à un instant donné. Si un sondage vous donne gagnant au premier tour et que du coup vous faites une campagne molle… bah du coup…

#3 | On mélange avec les autres élections

Notamment les primaires. Il est vrai que les primaires réservent d’énormes surprises. On se rappelle de Fillon qui remporte la primaire de 2017 (mais il faut quand même rappeler que sa courbe montait en flèche dans les sondages juste avant).

C’est parce que le corps électoral est beaucoup plus petit donc plus imprévisible. Sans compter qu’on manque souvent d’historique pour redresser les résultats.

Idem pour les élections avec beaucoup d’abstention. Si le sondage estime mal l’abstention alors il estimera mal le résultat. Parce que les gens qui s’abstiennent aux autres élections mais pas à la présidentielle ont une couleur politique.

On a eu le cas aux dernières européennes.

Les sondages des présidentielles ont tendance à être plus fiables car c’est l’élection avec le moins d’abstention.

#4 | On ne lit pas la marge d’erreur

L’erreur qu’on fait avec la météo. L’application de ton smartphone te dit qu’il y a 80% de chances pour qu’il pleuve entre 16h et 17h.

Tu prends ton parapluie, tu sors… et finalement il ne pleut pas. Tu t’exclames alors que la météo s’est trompée. Bah non ?

80% ce n’est pas 100%.

Si on me propose un jeu où j’ai 80% de chances de gagner 100 millions et 20% de chances de mourir, je refuse immédiatement. 20% c’est une chance sur cinq.

Chaque fois que j’ai une probabilité à 80% devant moi je me rappelle du nombre de paire d’As ou de Rois qui m’ont amené à la défaite au poker. Parce que j’ai tout misé sur une probabilité de 80%.

Généralement ça m’a réussi (80% du temps en moyenne)… mais les fois où ça n’a pas marché, mon cerveau s’en rappelle de quelques unes. Alors que je ne me rappelle d’aucune fois où j’ai gagné une main avec une paire d’As. On revient au biais psychologique précédent.

C’est pareil avec les sondages. Si un sondage vous dit que Trump a seulement une chance sur trois de gagner (ce que disait un sondage que j’avais regardé une semaine avant l’élection) et bien si Trump gagne ça ne veut pas dire que le sondage était faux.

Voilà pourquoi il est important d’écouter les marges d’erreur. Parfois on dit que untel est devant unetelle alors que les deux sont dans la marge d’erreur et qu’on devrait donc les considérer à égalité.

#5 | Le sondage est auto-réalisateur

À l’évidence : les sondages influent sur l’opinion. Selon moi on devrait les interdire. Mais là n’est pas la question.

Je n’ai jamais compris cet argument. Parfois je dis qu’une personne n’a aucune chance vu le sondage et on me répond “ne te fie pas au sondage, c’est une prophétie auto-réalisatrice”. Bah oui ? Mais du coup c’est bel et bien une prophétie. Dire que s’est auto-réalisateur revient à confirmer que les sondages sont fiables.

Viens participer au sondage

Bon… évidemment, le mien n’a aucune fiabilité puisque je n’utilise aucune technique de redressement, de détection de la triche, etc. Mais pour le fun, tu peux venir y participer : https://docs.google.com/forms/d/e/1FAIpQLSd0VYxnS-HPvDe6NEkZa_uiN15XkRWd2v7nTXmBjbo8zYpnjw/viewform