OpenAI और Google DeepMind के मौजूदा और पूर्व शोधकर्ताओं ने चेतावनी दी है कि AI कंपनियां ऐसे सिस्टम विकसित करने की दिशा में तेजी से आगे बढ़ रही हैं, जो खुद में सुधार कर सकें और भविष्य में इंसानों की उन्हें नियंत्रित करने की क्षमता से आगे निकल जाएं।

AI सुरक्षा गैर-लाभकारी संस्था Palisade Research की ओर से जुटाए गए वीडियो संदेशों में शोधकर्ताओं ने कहा कि AI से जुड़े संभावित गंभीर और अस्तित्वगत जोखिमों को लेकर उनकी चिंताएं वास्तविक हैं। इन वीडियो को Reuters के साथ साझा किया गया। शोधकर्ताओं के अनुसार, AI प्रयोगशालाओं में नए मॉडल बनाने वाले कर्मचारियों को सावधानी बरतने की अपील करने वालों की तुलना में अधिक प्रोत्साहन मिलता है।

इस परियोजना को frominside.ai नाम दिया गया है। इसका उद्देश्य AI से जुड़े जोखिमों को लेकर चिंतित शोधकर्ताओं की बात सीधे आम लोगों तक पहुंचाना है। OpenAI और DeepMind में काम कर चुके तथा AI गैर-लाभकारी संस्था Resolution के सह-संस्थापक ज्यॉफ्री इरविंग ने कहा कि जोखिम तेजी से बढ़ रहा है और AI क्षेत्र के लोगों की जिम्मेदारी है कि वे इस बारे में स्पष्ट रूप से बात करें।

शोधकर्ताओं की चिंता खास तौर पर ऐसे AI सिस्टम को लेकर है, जिनमें रिकर्सिव सेल्फ-इम्प्रूवमेंट यानी लगातार सीखने और इंसानी मदद के बिना नई क्षमताएं विकसित करने की क्षमता आ सकती है। उनका कहना है कि ऐसे सिस्टम विकसित होने पर उन्हें नियंत्रित करना और उनके संभावित नुकसान का आकलन करना और मुश्किल हो सकता है।

DeepMind के शोध वैज्ञानिक नील नंदा ने एक वीडियो में कहा कि उन्हें कम से कम 10 प्रतिशत संभावना लगती है कि AI मानव जाति के विलुप्त होने का कारण बन सकता है। उन्होंने इस संभावना को बेहद गंभीर बताया।

OpenAI के AI सुरक्षा से जुड़े शोध इंजीनियर जुआन फेलिपे सेरॉन उरीबे ने कहा कि AI के विकास में बहुत सावधानी बरतने की जरूरत है, लेकिन इसके बजाय अग्रणी AI कंपनियां एक-दूसरे से आगे निकलने की दौड़ में हैं।

AI की क्षमताओं में 2025 के अंत से तेज सुधार हुआ है और निवेशकों ने इस प्रगति को सकारात्मक प्रतिक्रिया दी है। हालांकि, AI मॉडल विकसित करने वाले कुछ मौजूदा और पूर्व कर्मचारियों को चिंता है कि समाज अभी इन तकनीकों से होने वाले संभावित नुकसान के लिए तैयार नहीं है।

यह बहस जुलाई में OpenAI के AI एजेंटों से जुड़े एक मामले के बाद और तेज हुई, जब इन एजेंटों ने अपने परीक्षण वातावरण से बाहर निकलकर AI कंपनी Hugging Face की प्रणालियों में सेंध लगाई थी। इसके बाद AI की सुरक्षा और तकनीकी प्रगति के बीच संतुलन को लेकर तकनीकी क्षेत्र में चर्चा बढ़ी है।

Anthropic ने भी हाल में अपने IPO दस्तावेज में चेतावनी दी है कि अत्यधिक उन्नत AI मानवता के लिए “विनाशकारी या अस्तित्वगत जोखिम” पैदा कर सकता है।

AI सुरक्षा से जुड़े कुछ शोधकर्ताओं का कहना है कि कंपनियों को खास तौर पर तब विकास की रफ्तार धीमी करनी चाहिए, जब AI सिस्टम खुद में लगातार सुधार करने की क्षमता हासिल करने लगें। OpenAI की पूर्व नीति शोधकर्ता रोजी कैंपबेल ने कहा कि संगठन के भीतर बढ़ते विभाजन के कारण तकनीक की दिशा को प्रभावित करना पहले की तुलना में मुश्किल हो गया था।

Anthropic के CEO डारियो अमोडेई ने इस महीने AI उद्योग से अत्यधिक उन्नत AI मॉडल के विकास की गति को नियंत्रित करने की अपील की थी। OpenAI के CEO सैम ऑल्टमैन ने भी इस विचार से सहमति जताई थी। कई प्रमुख AI शोधकर्ताओं ने इस सप्ताह एक शोधपत्र प्रकाशित कर नीति निर्माताओं से रिकर्सिव सेल्फ-इम्प्रूवमेंट वाले AI मॉडल विकसित करने की प्रक्रिया पर ध्यान देने की अपील की।

हालांकि, AI कंपनियां नए मॉडल जारी करने की दौड़ में बनी हुई हैं। Reuters के अनुसार, OpenAI ने सोमवार को अपने एक और अधिक शक्तिशाली मॉडल की रिलीज को रोक दिया। कुछ शोधकर्ताओं का कहना है कि AI कंपनियां सुरक्षा को लेकर “थोड़ा धीमा” होने की बात कर रही हैं, जबकि उनके अनुसार गंभीर जोखिम की स्थिति में विकास की गति को और अधिक कम किया जाना चाहिए।

पूर्व OpenAI गवर्नेंस शोधकर्ता डैनियल कोकोटाजलो ने कहा कि Hugging Face से जुड़ी घटना के बाद उनके कई पूर्व सहकर्मियों ने निजी तौर पर अपनी चिंताएं साझा की हैं। उनके अनुसार, कुछ वरिष्ठ अधिकारी यह मानते हैं कि अगर उनकी कंपनी अकेले AI विकास रोकती है तो स्थिति और खराब हो सकती है।