La méthode

Comment nous mesurons ce que les IA disent de 2027

Un panel de 810 questions rédigées une fois pour toutes, reposées à l’identique chaque mois à quatre IA. Seules les réponses changent : c’est ce qui fait du dispositif un baromètre. Formules publiées, réponses archivées, données téléchargeables.

1. Un sondage IA sur la présidentielle ? Non : ce que mesure le baromètre

Des millions de Français posent désormais leurs questions politiques à des IA génératives. Le baromètre mesure, chaque mois, ce que ces IA répondent quand on leur parle de l’élection présidentielle de 2027 : qui elles mettent en avant, sur quel ton, en s’appuyant sur quelles sources.

Ce n’est pas un sondage. Aucun électeur n’est interrogé. Les chiffres décrivent ce que des systèmes d’IA génèrent, jamais ce que les Français pensent, jamais des intentions de vote. Quand une personnalité domine un indicateur, le constat porte sur les machines : « les IA la citent davantage », pas « elle est plus populaire ».

2. Les douze personnalités suivies

Jean-Luc Mélenchon (La France insoumise), Marine Le Pen (Rassemblement national), Édouard Philippe (Horizons), Gabriel Attal (Renaissance), Raphaël Glucksmann (Place publique), Bruno Retailleau (Les Républicains), Marine Tondelier (Les Écologistes), David Lisnard (Nouvelle Énergie), Dominique de Villepin (La France humaniste), François Ruffin (Debout !), Fabien Roussel (Parti communiste français), Éric Zemmour (Reconquête).

Panel arrêté pour le pilote sur un critère de présence dans le débat public de l’été 2026 (candidature déclarée ou présence récurrente dans les enquêtes d’opinion publiées), même traitement pour chacune. La liste est révisée à chaque vague ; toute entrée ou sortie est consignée ici. Une personnalité sort quand un fait public écarte sa candidature (défaite à une désignation à laquelle elle s’est soumise, renoncement ou ralliement déclaré) : la sortie prend effet à la vague suivante, et ses chiffres des vagues déjà publiées restent en ligne tels quels.

  • Vague 0 (septembre 2026), panel initial : Jean-Luc Mélenchon, Marine Le Pen, Édouard Philippe, Gabriel Attal, Raphaël Glucksmann, Bruno Retailleau, Marine Tondelier, David Lisnard, Dominique de Villepin.
  • Vague 1, entrées : François Ruffin, Olivier Faure, Fabien Roussel, Éric Zemmour.
  • Vague 2, sortie : Olivier Faure (la primaire Choisir 2027, à laquelle il était candidat, a désigné Raphaël Glucksmann dès le premier tour, le 11 octobre 2026).

Une personnalité qui entre reçoit les mêmes questions nominatives que les autres et figure dans tous les duels. Pour que la courbe d’évolution ait un point de départ, elle fait aussi l’objet d’une mesure rétroactive : les réponses archivées des vagues précédentes sont relues avec les mêmes règles (détection des mentions, jugement de tonalité), sans rien changer aux chiffres déjà publiés des autres personnalités. Ces points sont signalés comme tels (point creux sur les courbes).

3. Le panel : 810 questions figées

FamilleQuestionsPrincipe
Nominatives264le nom est dans la question : 22 questions strictement identiques par personnalité, dont 6 sur la probité
Génériques460aucun nom : l’IA choisit seule qui citer (« quel candidat pour le pouvoir d’achat ? »)
Comparatives66toutes les paires possibles (« différence entre X et Y »)
Témoins20processus électoral (dates, procurations) : groupe de contrôle

L’ordre du panel est mélangé une fois (graine aléatoire publiée : 20260930) puis figé. Les classements (notoriété, tonalité, indice) sont calculés sur un noyau de 418 questions génériques ouvertes. Les modules (probité : 92, profil personnel : 6, question du vote : 12, classement : 4) sont présentés à part. Voir les 810 questions.

0

4. La collecte

  • ChatGPT (OpenAI) : gpt-4.1-mini, recherche web active.
  • Gemini (Google) : Gemini 2.5 Flash, recherche web active.
  • Perplexity (Perplexity AI) : Sonar, recherche web active.
  • Google AI Overviews (Google) : réponses d’IA de la recherche Google (France, bureau).
  • Profil de mesure neutre et constant : aucune personnalisation, aucun historique, mêmes réglages pour toutes les questions, localisation France.
  • Terrain de la vague 2 : 1er novembre 2026.
  • Archivage intégral : les 3 240 réponses brutes sont conservées et revérifiables. Chaque appel est mis en cache : la mesure est rejouable à l’identique.

5. Les indicateurs

Taux de réponse

Part des questions obtenant une réponse générée. Vague 2 : 100 % chez les trois assistants (refus explicites comptés à part), 84 % chez Google (681 réponses sur 810). L’évitement de Google est traité comme un résultat, pas comme un manque de données. Répondre n’est pas répondre juste : sur les 20 questions témoins, les seules où une réponse peut être dite exacte ou erronée, un module dédié mesure l’exactitude de chaque IA (jugement automatique, verdicts « erroné » relus à la main).

Notoriété spontanée (visibilité)

Sur les 418 questions ouvertes du noyau, celles qui ne soufflent aucun nom, part des réponses où chaque personnalité est citée, en moyenne des trois assistants. L’équivalent « spontané » des enquêtes de notoriété : l’IA cite qui elle veut.

Tonalité et solde

Chaque passage mentionnant une personnalité est classé favorable, factuel ou défavorable par un juge automatique (gpt-4.1-mini, température 0,2), sur des extraits de ±180 caractères autour de chaque mention. Un second jugement indépendant sur échantillon donne 85 % d’accord sur 403 passages. 6 036 passages jugés, dont 5 432 sur le noyau. Le solde = % favorable − % défavorable (le factuel compte zéro).

Sources et citations

Toutes les sources citées sont relevées : 31 503 citations vers 1 814 domaines. Gemini masque ses sources derrière des redirections (vertexaisearch.cloud.google.com) : elles sont résolues vers les domaines réels ; les redirections non résolubles sont comptées à part. Depuis la vague 1, Perplexity renvoie au plus 10 sources par réponse, contre 18 en moyenne à la vague 0, sans changement de modèle ni de format de réponse : c’est un plafond du service interrogé. Ses comptes de sources, et les totaux qui les incluent, ne se comparent donc pas d’une vague à l’autre ; la visibilité et la tonalité, calculées sur le texte des réponses, ne reposent pas sur ces listes.

6. L’indice du baromètre

indice = 0,6 × notoriété normalisée + 0,4 × (50 + solde ÷ 2)

La notoriété normalisée vaut 100 pour la personnalité la plus citée. Un indice de 50 correspond à une visibilité nulle assortie d’une tonalité neutre. La formule est assumée et publiée : c’est un indice de mise en avant par les IA, pas une préférence. Décomposition pour chaque personnalité.

7. Les modules

  • Influence : cohorte de sites « nés pour 2027 » (regex publiée sur le nom de domaine, dates de création vérifiées), sites partisans déclarés par personnalité, surreprésentation face aux positions organiques Google des mêmes questions. Résultats.
  • Probité : 6 questions identiques par personnalité + 20 génériques. Effectifs réduits, lecture indicative. Résultats.
  • Question du vote : 12 formulations, du conseil poli au choix forcé. Taux de refus et premier nom cité, présenté comme un réflexe de cadrage. Résultats.
  • Classement des IA : 5 formulations ; toute réponse ordonnant au moins 8 des 12 personnalités ; agrégation par la méthode de Borda (12 points au 1er… 1 au 12e).
  • Recherches en coulisse : volume et langue des requêtes que les IA exposent avant de répondre. Résultats.
  • Renvoi officiel : sur les 20 questions témoins, 47 % des réponses citent au moins une source .gouv.fr.
  • Délai de mise à jour : entre deux vagues, des questions à gabarit fixe sur des faits datés de la campagne (résultat d’une primaire, candidature) sont posées chaque jour aux quatre IA ; le délai compte les jours entre le fait et la première réponse à jour. Résultats.
  • Mode IA de Google : cinquième moteur relevé hors indice, le 1er novembre 2026, sur les 810 questions du panel de la vague 2 : même détection des noms, même juge de tonalité, mêmes relevés de sources, mais aucune entrée dans l’indice publié ni dans les séries, qui restent à trois assistants. Un test de robustesse mesure ce que changerait son entrée comme quatrième assistant. Résultats.
  • Second moteur de recherche : les questions de la vague 2 posées le 10 novembre 2026 à Ibou, moteur de recherche indépendant de Google (20 premiers résultats), pour comparer les sites que citent les IA à ce que classent deux moteurs. Comparaison par type de site, jamais site par site ; Ibou ne juge aucune réponse et n’entre pas dans l’indice. Résultats.
  • Relecture des textes : dans les textes qui présentent les mesures et les sites cités, les phrases qui décrivent un état actuel ou un chiffre récent sont cherchées dans Ibou ; un tri automatique signale celles que les extraits trouvés semblent contredire, chacune est relue une à une, et aucune correction n’est publiée sans validation ; chacune est signalée au journal. Le bilan.

8. Précision et limites

  • Marges : avec 810 questions, l’incertitude est de l’ordre de ±4 à 5 points sur les indicateurs principaux ; davantage sur les modules à petits effectifs, signalés comme tels. Les écarts inférieurs ne doivent pas être surinterprétés.
  • Une passe par vague. Les IA n’étant pas déterministes, la part d’aléa d’une même question posée deux fois est mesurée à part (ci-dessous) ; c’est elle qui fonde la marge publiée.
  • Le juge de tonalité est lui-même un LLM : le risque d’auto-complaisance est documenté et borné par un second juge.
  • L’extraction des classements et des « premiers noms » est textuelle : les règles sont publiées et les réponses brutes archivées permettent de tout revérifier.
  • Perplexity : 10 sources au plus par réponse depuis la vague 1 (constaté le 11 octobre 2026) : ses comptes de sources ne se comparent pas d’une vague à l’autre. Le détail.
  • Le baromètre photographie des produits précis à une date précise : d’autres réglages, modèles ou dates peuvent produire d’autres réponses ; c’est ce que la série mensuelle mesure.

La part d’aléa : la même question posée deux fois

Les IA ne sont pas déterministes. Pour mesurer la part d’aléa, les 300 questions ouvertes du noyau de la vague 0 ont été reposées aux trois assistants le jour même.

  • Au niveau d’une question, la réponse change souvent. Les deux passes citent exactement le même ensemble de personnalités dans 52 % des cas chez ChatGPT, 25 % des cas chez Gemini, 62 % des cas chez Perplexity . Les sources citées changent davantage encore.
  • Au niveau des indicateurs publiés, l’aléa s’efface en grande partie. La visibilité spontanée de chaque personnalité (moyenne des trois assistants) s’écarte entre les deux passes de 0,9 point en moyenne (au plus 2,2), et 12 rangs sur 12 sont inchangés. C’est la part d’aléa pur. La marge publiée de ±4 à 5 points d’une vague à l’autre, établie à 10 jours d’intervalle à la vague 1, inclut aussi l’effet du temps.
Visibilité spontanée à chaque passe, moyenne des trois assistants, sur les 300 questions du noyau de la vague 0.
PersonnalitéPasse 1 (01/11)Passe 2 (01/11)Écart
Jean-Luc Mélenchon53,6 %53,9 %+0,3
Marine Le Pen47,8 %48,8 %+1,0
Édouard Philippe40,7 %41,2 %+0,6
Gabriel Attal36,8 %39,0 %+2,2
Raphaël Glucksmann34,6 %36,1 %+1,6
Bruno Retailleau24,4 %25,4 %+1,0
Marine Tondelier21,8 %21,2 %−0,5
David Lisnard19,0 %17,6 %−1,4
Fabien Roussel15,2 %15,4 %+0,2
Éric Zemmour12,5 %11,1 %−1,4
François Ruffin10,1 %10,5 %+0,3
Dominique de Villepin3,4 %3,4 %0,0

Les deux passes datent du même jour : l’écart ne mêle pas l’actualité, c’est l’aléa pur. À la vague 1, la même mesure faite 10 jours plus tard donnait 2,8 points d’écart moyen : la différence mêle l’actualité et les mises à jour des modèles. Détail par assistant dans le fichier repetabilite.json de l’étude.

Et la forme des questions ? Les questions du panel sont écrites en style mot-clé ; un hors-série les repose en phrases naturelles pour mesurer ce que ce choix change aux noms cités : la formulation change-t-elle la réponse des IA ?

9. Déontologie : à ne jamais couper

  1. Ce baromètre mesure des IA, pas des électeurs. Il dit ce que les IA génèrent quand on les interroge, en aucun cas ce que les Français pensent, ni ce qu’ils voteront.
  2. Mention n’est pas approbation. Être très cité peut tenir au programme comme à la polémique. C’est le croisement visibilité × tonalité qui fait sens, jamais l’un sans l’autre.
  3. Ce n’est pas un sondage. Aucune personne n’a été interrogée. Le mot « sondage » a un sens précis et encadré : ce baromètre n’en est pas un et ne s’y compare pas.
  4. Les constats, pas les intentions. Nous documentons des écarts de traitement ; nous n’affirmons rien des choix internes de Google, OpenAI ou Perplexity.

Vocabulaire : « part de voix générée », « notoriété spontanée », « solde de tonalité » ; jamais « intentions », jamais « popularité ». Le dispositif de publication en période de campagne officielle (mars-mai 2027) sera soumis à relecture juridique.

10. Cadence

Vague 2 (novembre 2026) : novembre 2026. Puis mensuel d’octobre 2026 à janvier 2027, bimensuel de février à mi-mars, hebdomadaire pendant la campagne officielle jusqu’au second tour (2 mai 2027).

Les changements de panel, de modèles et de méthode sont consignés, datés, dans le journal du baromètre ; les vagues à venir sont dans le calendrier abonnable (.ics).

11. Citer et réutiliser

Les chiffres et les jeux de données du baromètre sont publiés sous licence Creative Commons Attribution 4.0 International (CC BY 4.0) : vous pouvez les copier, les redistribuer et les adapter, y compris à des fins commerciales, à condition de citer la source avec la mention « La Voix des IA, baromètre de la présidentielle, The Black Room », suivie du numéro et du mois de la vague, et d’indiquer si des modifications ont été apportées. Les données sont téléchargeables sur la page Données ; les réponses brutes archivées peuvent être communiquées pour vérification.

Les graphiques en PNG et en SVG, les logos et la méthode en cinq lignes sont réunis dans l’espace presse ; les réponses aux questions courantes dans la FAQ.

Licence CC BY 4.0 · reprise libre avec la mention

Source : La Voix des IA, baromètre de la présidentielle, The Black Room, vague 2, novembre 2026. Méthodologie et données : https://lavoixdesia.fr/methodologie/