GPT-4.5、チューリングテストで人間レベルのパフォーマンスを達成、参加者の73%を欺く

最近の研究によると、OpenAIのGPT-4.5モデルは、3者間のチューリングテストで人間レベルのパフォーマンスを示しました。カリフォルニア大学サンディエゴ校が行った調査では、特定のペルソナを採用するように促された場合、GPT-4.5が73%の確率で人間として識別されることがわかりました。これは50%のベースラインを大幅に上回っており、参加者がAIを人間と間違えることが多かったことを示唆しています。 この調査には、人間とAIモデルの両方とテキストベースの会話を行った約300人の参加者が含まれていました。尋問者のタスクは、人間の参加者を特定することでした。AIモデルは、最小限の指示プロンプトと、AIが人間のような振る舞いをするように誘導する強化されたペルソナプロンプトの2つの条件で評価されました。この調査では、MetaのLlama 3.1-405Bモデル、OpenAIのGPT-4oモデル、およびELIZAとして知られる初期のチャットボットも評価されました。 結果は、GPT-4.5がペルソナプロンプトを使用した場合、73%の勝率を達成したことを示しました。Llama 3.1-405Bはペルソナプロンプトで約56%の勝率を達成しましたが、GPT-4oはペルソナなしの条件下で21%の勝率しか達成しませんでした。これは、ペルソナプロンプトがAIの人間との会話を模倣する能力を大幅に向上させたことを示唆しています。この調査は、AIが人間の相互作用をシミュレートする能力の進歩を強調し、そのような技術の影響について疑問を投げかけています。