L’évaluation par les pairs basée sur l’IA consiste à faire évaluer et noter mutuellement les arguments de plusieurs modèles d’IA, un peu comme dans le cadre de l’évaluation académique par les pairs appliquée aux résultats produits par l’IA. Au lieu de se fier à la réponse d’un seul modèle, les affirmations de chaque modèle sont évaluées par les autres modèles, et les arguments qui résistent à cette évaluation croisée gagnent en crédibilité. Cette approche repose sur les limites connues de l’utilisation d’un seul LLM comme juge : des études montrent que ces modèles présentent un biais de position (en privilégiant la première réponse qu’ils trouvent), un biais de verbosité (en récompensant les réponses plus longues, quelle que soit leur qualité) et un biais d’auto-amélioration (un modèle préférant ses propres résultats). En répartissant l’évaluation entre plusieurs modèles et en anonymisant l’identité du modèle dont les arguments sont évalués, on atténue les biais idiosyncratiques de chaque juge. Étant donné que différents modèles ont tendance à produire des hallucinations différentes, une affirmation fabriquée ou non étayée est souvent mal notée par les autres modèles. Ainsi, des évaluations croisées systématiquement faibles signalent les affirmations qui nécessitent une vérification humaine. Argumentree.AI met en œuvre cette approche en demandant à chaque modèle disponible d’évaluer anonymement les arguments de tous les autres modèles, afin de déterminer quelles sont les affirmations largement acceptées et lesquelles sont faibles ou contestées. Il complète le jugement humain plutôt que de le remplacer.
L’évaluation par les pairs basée sur l’IA propose plusieurs modèles qui évaluent mutuellement les arguments de chacun — une évaluation académique par les pairs, appliquée aux résultats générés par l’IA. Une évaluation croisée et anonyme entre différents modèles est plus efficace qu’un seul système d’IA en tant que juge, car il est connu que les évaluations de ce dernier sont biaisées.
L’évaluation par les pairs basée sur l’IA permet aux modèles d’évaluer les arguments des autres au lieu de se fier à un seul évaluateur. Les LLM (grands modèles linguistiques) utilisés comme évaluateurs présentent une tendance à défendre leur propre position, à être verbeux et à s’auto-glorifier. En répartissant l’évaluation entre plusieurs modèles, de manière anonyme, ces biais sont atténués et les affirmations faibles ou erronées sont mises en évidence.
Dans le monde universitaire, une affirmation n’est pas acceptée simplement parce que son auteur est sûr d’elle : elle est examinée par des pairs indépendants qui évaluent le raisonnement et les preuves. L’évaluation par les pairs basée sur l’IA s’inspire de ce principe : au lieu de se fier à la réponse d’un seul modèle, plusieurs modèles examinent et évaluent les arguments des autres. Les affirmations qui résistent à l’examen croisé entre différents modèles gagnent en crédibilité ; celles que les autres modèles jugent médiocres sont signalées.
Une solution séduisante consiste à confier l’évaluation des résultats à un seul modèle performant, selon le principe du « modèle de langage en tant que juge ». Le problème : les études sur les modèles de langage utilisés comme juges ont mis en évidence des biais systématiques qui rendent ce type de jugement peu fiable.
Deux choix de conception permettent de contrer ces biais : répartir l’évaluation entre plusieurs modèles et anonymiser l’auteur dont le raisonnement est évalué. Ensemble, ils évaluent le contenu plutôt que l’auteur, et atténuent les particularités de chaque modèle.
Chaque modèle disponible contribue des arguments pour et contre, indépendamment.
Les arguments sont anonymisés afin qu’aucun modèle ne sache lequel est le sien.
Les évaluations sont réparties entre les modèles, et non concentrées sur un seul évaluateur.
Un large soutien = confiance ; des évaluations systématiquement faibles = une affirmation faible ou hallucinatoire à vérifier.
Un modèle affirme avec assurance que « cette bibliothèque est conçue pour être sûre en termes de gestion de la mémoire », en citant une source à l’appui. Dans le cadre d’une évaluation par des pairs anonyme, les autres modèles évaluent cet argument comme faible ; plusieurs soulignent que la garantie invoquée ne couvre pas le chemin d’interopérabilité non sécurisé. Cette faible évaluation croisée entre les modèles signale qu’un humain doit vérifier cette affirmation plutôt que de laisser un seul modèle confiant l’étayer sans remise en question.
Chaque modèle disponible évalue les arguments de tous les autres modèles – de manière anonyme – afin que les affirmations peu convaincantes ne puissent pas se cacher derrière la confiance qu’inspire un seul modèle.
Les arguments proviennent de plusieurs modèles, et non d’une seule source.
Chaque modèle évalue les arguments des autres modèles sans connaître l’auteur.
Les arguments largement soutenus sont mis en avant ; ceux qui reçoivent systématiquement de mauvaises notes sont signalés.
Les hallucinations potentielles se manifestent sous la forme d’un désaccord entre les modèles, ce qui permet de vérifier leur exactitude.
L'évaluation par les pairs basée sur l'IA consiste à ce que plusieurs modèles d'IA examinent et évaluent les arguments des autres, un peu comme l'évaluation académique par les pairs appliquée aux résultats de l'IA. Au lieu de se fier à la réponse d'un seul modèle, les affirmations de chaque modèle sont évaluées par les autres modèles. Les arguments qui résistent à l'examen croisé entre les modèles gagnent en crédibilité ; les affirmations que les autres modèles évaluent mal sont signalées comme étant faibles ou potentiellement hallucinatoires.
Il est bien connu que l'utilisation d'un seul LLM en tant que juge présente des biais. Les recherches sur l'utilisation d'un LLM en tant que juge mettent en évidence un biais de position (favorisant la réponse qui apparaît en premier), un biais de verbosité (récompensant les réponses plus longues, quelle que soit leur qualité) et un biais d'auto-amélioration (un modèle préférant ses propres résultats). En répartissant l'évaluation sur plusieurs modèles et en anonymisant l'argument évalué, on atténue tout biais idiosyncratique d'un seul juge.
Si un modèle sait quel argument est le sien, le biais d'auto-amélioration peut l'amener à s'évaluer plus favorablement. L'anonymisation des arguments avant l'évaluation supprime cet indice, de sorte que chaque modèle juge le contenu plutôt que l'auteur. La combinaison des évaluations provenant de plusieurs modèles permet en outre de réduire les particularités de position ou de verbosité d'un seul modèle, ce qui donne un signal plus équilibré qu'un seul juge.
Cela permet de les identifier. Étant donné que différents modèles ont tendance à halluciner différemment, une affirmation fabriquée ou non étayée d'un modèle est souvent mal notée par les autres. Les évaluations croisées constamment faibles sont un signal d'alerte indiquant qu'une affirmation doit être vérifiée par un humain. Il s'agit d'un signal de détection des désaccords, et non d'une garantie : si tous les modèles partagent la même erreur, l'évaluation par les pairs ne la détectera pas.
Non. L'évaluation par les pairs basée sur l'IA est conçue pour donner la priorité et compléter le jugement humain, et non pour le remplacer. Elle vous indique quelles affirmations sont largement étayées par les modèles et lesquelles sont contestées ou faibles, afin que les humains puissent concentrer leurs efforts de vérification là où ils sont les plus importants. Les décisions finales et les vérifications à enjeux élevés restent la responsabilité des humains.
Ne vous fiez pas à un seul système d’IA pour évaluer les décisions. Comparez la manière dont chaque modèle évalue les arguments des autres modèles.
Commencer gratuitement