GPT-4.5 Bereikt Menselijk Niveau in Turingtest, Misleidt 73% van de Deelnemers

Een recente studie geeft aan dat het GPT-4.5-model van OpenAI menselijk niveau heeft bereikt in een driepartijen Turingtest. Het onderzoek, uitgevoerd door de Universiteit van Californië, San Diego, toonde aan dat GPT-4.5 in 73% van de gevallen als mens werd geïdentificeerd wanneer het werd gevraagd een specifieke persona aan te nemen. Dit overschrijdt de basislijn van 50% aanzienlijk, wat suggereert dat deelnemers de AI vaak voor een mens aanzagen. De studie omvatte bijna 300 deelnemers die tekstgebaseerde gesprekken voerden met zowel een mens als een AI-model. De taak van de ondervragers was om de menselijke deelnemer te identificeren. De AI-modellen werden geëvalueerd onder twee omstandigheden: met een minimale instructieprompt en met een verbeterde personaprompt die de AI begeleidde om een specifiek menselijk gedrag aan te nemen. Het onderzoek evalueerde ook Meta's Llama 3.1-405B-model, OpenAI's GPT-4o-model en een vroege chatbot genaamd ELIZA. De resultaten gaven aan dat GPT-4.5, bij gebruik van de personaprompt, een winstpercentage van 73% behaalde. Llama 3.1-405B met de personaprompt behaalde een winstpercentage van ongeveer 56%, terwijl GPT-4o zonder personaprompt slechts een winstpercentage van 21% behaalde. Dit suggereert dat de personaprompt het vermogen van de AI om menselijke gesprekken na te bootsen aanzienlijk verbeterde. De studie benadrukt de vooruitgang in het vermogen van AI om menselijke interactie te simuleren en roept vragen op over de implicaties van dergelijke technologie.