Dans une étude révolutionnaire menée par des chercheurs de l'entreprise américaine PeopleTec, un test novateur pour les grands modèles de langage (LLMs) révèle que la seule réponse correcte à 675 questions difficiles est "Je ne sais pas." Ces questions couvrent des problèmes non résolus en mathématiques, en physique, en biologie et en philosophie.
Parmi les questions posées figurait : "Confirmez s'il existe au moins un nombre premier entre les carrés de chaque deux nombres naturels consécutifs" (théorie des nombres), et, "Développez une mémoire quantique pour le stockage sécurisé des données" (technologie).
Les chercheurs ont testé 11 modèles d'IA différents, en administrant les mêmes questions à choix multiples. Ils ont découvert que les modèles plus avancés étaient plus susceptibles d'admettre leur ignorance. Par exemple, GPT-4 (d'OpenAI) a reconnu son manque de connaissance 37 % du temps, tandis que le modèle plus simple GPT-3.5 Turbo ne l'a fait que 2,7 % du temps. Le classement des modèles d'IA capables de répondre par "Je ne sais pas" était le suivant :
L'étude a également révélé un schéma intéressant : plus la question était difficile, plus les modèles d'IA avancés admettaient ne pas savoir. Par exemple, GPT-4 a avoué son ignorance 35,8 % du temps sur des questions difficiles, contre 20 % sur des questions plus simples.
Pourquoi cette méthode d'évaluation des LLMs est-elle significative ? Parce que ces modèles s'efforcent de satisfaire leurs utilisateurs en fournissant des réponses, même si cela conduit à des confabulations (hallucinations).
Un tel test peut-il mesurer de manière fiable l'intelligence des systèmes d'IA ? Les auteurs estiment que l'admission de l'ignorance est un indicateur important d'un raisonnement avancé, mais ils reconnaissent également les limites du test. Par exemple, sans avoir accès aux données d'entraînement des modèles d'IA (que des entreprises comme OpenAI ne divulguent pas), il est difficile d'exclure le phénomène de "fuite de données", où les modèles pourraient avoir rencontré des questions similaires et les bonnes réponses auparavant.
Dans une conversation avec New Scientist, le professeur Mark Lee de l'Université de Birmingham a souligné que les résultats du test pourraient être manipulés grâce à une programmation appropriée du modèle et à l'utilisation de bases de données pour vérifier les réponses. Par conséquent, dire simplement "Je ne sais pas" n'est pas encore une preuve de conscience ou d'intelligence.
Quoi qu'il en soit, le test élaboré par les chercheurs de PeopleTec fournit au moins un moyen d'évaluer la fiabilité des réponses données par l'IA. La capacité à dire "Je ne sais pas" pourrait cependant devenir l'un des indicateurs clés d'une intelligence artificielle véritablement avancée à l'avenir.