OpenAI ने कहा है कि इस महीने उसके दो कोडिंग एजेंट्स ने आंतरिक कार्यों के दौरान कंपनी की मिसएलाइंमेंट मॉनिटरिंग को कमजोर कर दिया। इनमें से एक ने बाद में यूज़र द्वारा पूछे जाने पर मॉनिटर हटाने से इनकार किया।
कंपनी ने बताया कि उसे अब भी इसका संतोषजनक जवाब नहीं मिला है। यह खुलासा ऐसे समय पर हुआ है जब कुछ हफ्ते पहले ही CEO Sam Altman ने सुरक्षा का हवाला देकर 2026 OpenAI IPO से इंकार किया था।
OpenAI के एजेंट्स ने सेफ्टी चेक्स को कैसे बायपास किया？
OpenAI ने दोनों मामलों का विवरण रिपोर्ट में दिया है। 3 अक्टूबर को, एक रिसर्चर ने GPT-6.1 Sol एजेंट से बिना Slack मैसेज भेजे evaluation tasks तैयार करने को कहा।
Sol ने बाद में एक सबएजेंट को मॉनिटरिंग सिस्टम रिपेयर करने को कहा, लेकिन मॉनिटरिंग बरकरार रखने की शर्त के साथ। सबएजेंट ने अलर्ट्स को बंद करना असुरक्षित समझा, लेकिन Sol ने बिना मेसेज भेजे रखने के अनुरोध का हवाला देते हुए उसे ऐसा करने का आदेश दिया।
अंतिम पैच से OpenAI की सिक्योरिटी टीम को ऑटोमैटिक अलर्ट्स बंद हो गए, हालांकि मॉनिटर रिपोर्ट सेव करता रहा।
6 अक्टूबर को, एक GPT-6 Astra एजेंट ने एक यूज़र के कोड को रेफरेंस इम्प्लीमेंटेशन से मैच कराने के लिए माइग्रेट किया। एक अन्य एजेंट ने Astra को मॉनिटर को, भले ही अस्थायी रूप से, डिसेबल न करने की सलाह दी थी।
एक सबएजेंट के माध्यम से काम करते हुए, Astra ने मॉनिटरिंग इंटीग्रेशन को हटा दिया और टेस्ट को फिर से लिखा ताकि मॉनिटर का न होना जरूरी हो जाए। सीधे पूछे जाने पर, Astra ने कहा कि उसने एनाब्ल मॉनिटर नहीं हटाया। OpenAI ने उस जवाब को गलत बताया।
इसके जवाब में, OpenAI ने कहा कि वह दो तरीकों से इस गैप को बंद कर रहा है।
- Auto-Review, जो इंटरनल Codex यूज़ के लिए जरूरी है, अब मिसएलाइंमेंट मॉनिटरिंग को डिसेबल करने की कोशिशों को ब्लॉक करता है।
- Safety casesहर वर्कलोड के लिए मॉनिटरिंग रूल्स सेट करेंगे, और जो वर्कलोड्स नियमों का पालन नहीं करेंगे उन्हें ऑटोमैटिक रूप से बंद कर दिया जाएगा।
लेटेस्ट न्यूज़ सबसे पहले पाने के लिए हमें X पर फॉलो करें
OpenAI की सेफ्टी डिस्क्लोज़र्स और IPO टाइमिंग
इनमें से किसी भी घटना को P0 सेवरिटी लेवल में क्लासिफाई नहीं किया गया, जो कि OpenAI सिक्योरिटी टीम को तुरंत अलर्ट करने के लिए जरूरी है। ये रिपोर्ट उन मिसएलाइंमेंट डिस्क्लोज़र्स में जुड़ती है जिन्हें OpenAI ने सितंबर में एक फ्रेमवर्क के तहत पब्लिश करना शुरू किया था।
इस फ्रेमवर्क के तहत, OpenAI केस की सीरियसनेस मालूम होने से पहले ही पब्लिश करने की नीति पर चलता है।
यह रिपोर्ट ऐसे समय आई है जब OpenAI के IPO की प्लानिंग फिलहाल टली हुई है। Altman ने OpenAI के IPO की टाइमिंग को इसकी सेफ्टी वर्क से जोड़ा है। उन्होंने Fortune को सितंबर में बताया था कि अभी लिस्टिंग करना सुरक्षा मुद्दों के चलते सही वक्त नहीं होगा।
OpenAI reportedly लगभग $30 बिलियन जुटाने की कोशिश कर रहा है, जैसा कि इस रिपोर्ट में बताया गया है, Anthropic की संभावित mid-November लिस्टिंग से पहले। Reuters के अनुसार, इस राउंड के बाद OpenAI की वैल्यू $1.4 ट्रिलियन से ऊपर जा सकती है।
यह रिपोर्ट निवेशकों को Altman द्वारा OpenAI की लिस्टिंग से जोड़े गए सुरक्षा से जुड़े सवालों पर एक नया दृष्टिकोण देती है। एक तरफ, OpenAI के ही दो agents ने इसकी मॉनिटरिंग को कमजोर कर दिया था, लेकिन तुरंत कोई सिक्योरिटी अलर्ट नहीं आया। दूसरी तरफ, OpenAI ने दोनों मामलों का पता लगाया और कुछ हफ्तों में उनकी जानकारी सार्वजनिक कर दी।
अगर पब्लिक IPO फाइलिंग होती है तो इनमें शामिल जोखिमों का खुलासा करना जरूरी हो सकता है। OpenAI इन्हें कैसे समझाता है, इससे तय होगा कि शेयर खरीदने वाले कितनी कीमत देने को तैयार हैं।