GPT-4.5 behaalt 73% succespercentage in Turingtest met persona aan UC San Diego

In een recent onderzoek aan de Universiteit van Californië, San Diego, heeft GPT-4.5 van OpenAI een opmerkelijk vermogen aangetoond om menselijke communicatie na te bootsen, met een succespercentage van 73% in een driepartijen Turingtest bij het aannemen van een specifieke persona. Dit suggereert dat deelnemers in veel gevallen eerder geloofden dat GPT-4.5 een mens was in vergelijking met de daadwerkelijke menselijke deelnemer. Het experiment, waarbij bijna 300 deelnemers betrokken waren, evalueerde het vermogen van GPT-4.5 om deel te nemen aan tekstgebaseerde gesprekken en ondervragers te overtuigen van zijn menselijke aard. Wanneer GPT-4.5 werd gevraagd een persona aan te nemen, presteerde hij aanzienlijk beter dan zijn basisprestatie, waarbij hij slechts 36% van de deelnemers overtuigde zonder specifieke instructies. Ter vergelijking: GPT-4o van OpenAI behaalde een succespercentage van 21% zonder persona. De Turingtest, bedacht door Alan Turing in 1950, beoordeelt het vermogen van een machine om intelligent gedrag te vertonen dat gelijkwaardig is aan dat van een mens. De recente bevindingen benadrukken de vooruitgang in taalmodellen en de impact van prompt engineering op het vermogen van AI om menselijke interactie overtuigend na te bootsen. De studie evalueerde ook Meta's Llama 3.1-405B-model, dat een winstpercentage van ongeveer 56% behaalde met een persona-prompt. Deze resultaten geven aan dat AI-systemen steeds beter worden in het nabootsen van mensachtige gesprekken, wat belangrijke vragen oproept over de aard van intelligentie en de potentiële sociale en economische impact van deze technologieën.