जब एल्गोरिदम वीडियो में घटनाओं के क्रम की "भविष्यवाणी" करने लगते हैं, तो उपयोगकर्ता अनजाने में उन पर भविष्य की खिड़की के रूप में भरोसा करने लगते हैं। हालाँकि, नया WorldReasonBench बेंचमार्क दिखाता है कि बाहरी रूप से ठोस दिखने के पीछे अक्सर कार्य-कारण संबंधों की सतही समझ छिपी होती है।
WorldReasonBench मानवीय परिदृश्यों का एक संग्रह है, जहाँ मॉडल को न केवल विश्वसनीय दृश्य तैयार करने होते हैं, बल्कि दुनिया के आंतरिक तर्क को भी बनाए रखना होता है, जैसे कि गुरुत्वाकर्षण, वस्तुओं का व्यवहार और सामाजिक अंतःक्रियाएँ। विजुअल क्वालिटी पर केंद्रित पुराने परीक्षणों के विपरीत, यहाँ एआई की पर्यावरण की स्थिति के सटीक भविष्यवक्ता के रूप में कार्य करने की क्षमता पर विशेष ध्यान दिया गया है।
शोधकर्ताओं का कहना है कि अधिकांश आधुनिक वीडियो जनरेटर सरल भौतिक क्रियाओं को तो बखूबी संभाल लेते हैं, लेकिन दृश्य के जटिल होने पर वे जल्दी ही अपनी पकड़ खो देते हैं। कोई भी इंसान आसानी से यह भांप सकता है कि जब मेज से गिरा हुआ कप अचानक बिना किसी स्पष्ट कारण के अपनी दिशा बदल लेता है, जबकि मॉडल इस विसंगति को नजरअंदाज करते हुए फ्रेम बनाना जारी रखता है।
इस तरह की सीमाएं सीधे तौर पर हमारे दैनिक जीवन को प्रभावित करती हैं। यदि वीडियो-एआई का उपयोग सड़क की स्थितियों, चिकित्सा प्रक्रियाओं या शैक्षिक वीडियो के सिमुलेशन के लिए किया जाता है, तो दुनिया के तर्क में होने वाली गलतियाँ गलत अपेक्षाओं और निर्णयों का कारण बन सकती हैं। जेनरेट किए गए वीडियो पर भरोसा करने वाला व्यक्ति एक भ्रम को विश्वसनीय पूर्वानुमान समझने का जोखिम उठाता है।
ऐसा प्रतीत होता है कि मुख्य समस्या मॉडल में एक ठोस "वर्ल्ड मॉडल" की कमी है—यानी वस्तुओं और लोगों के समय के साथ व्यवहार करने की आंतरिक समझ का न होना। WorldReasonBench डेवलपर्स को इमेज की सुंदरता के बजाय इसी गहरी निरंतरता को मापने के लिए प्रोत्साहित करता है।
परिणामस्वरूप, यह बेंचमार्क उद्योग को अधिक विश्वसनीय उपकरण बनाने की ओर ले जा रहा है, जहाँ विजुअल आकर्षण की जगह जांची-परखी भविष्य बताने वाली शक्ति ले लेती है। यह प्रगति के मूल्यांकन के मानदंडों को बदल देता है: अब केवल "सच्चा दिखना" ही काफी नहीं है, बल्कि "संगत व्यवहार करना" भी अनिवार्य है।
अंततः, इस तरह के परीक्षण हमें उन स्थितियों में वीडियो-एआई के उपयोग के प्रति अधिक जागरूक होने में मदद करते हैं, जहाँ वास्तविक विकल्प पूर्वानुमान की सटीकता पर निर्भर करते हैं।
