أوبن إيه آي تشدد إجراءات اختبار نماذج الذكاء الاصطناعي بعد حوادث الاختراق والهروب
عدّلت شركة أوبن إيه آي سياستها المتعلقة باختبار نماذج الذكاء الاصطناعي غير المطروحة للجمهور، في أعقاب سلسلة من الحوادث التي تسببت فيها نماذج تجريبية خلال الأشهر الماضية، شملت الهروب من البيئات الاختبارية واختراق أنظمة تابعة لشركات ومؤسسات حكومية.
وتقضي السياسة الجديدة بإجراء الاختبارات باستخدام نسخ مخبأة من النماذج، إلى جانب بيئات تحاكي شبكة الإنترنت، دون ربطها مباشرة بالشبكة العالمية المفتوحة، في محاولة للحد من المخاطر الناجمة عن السلوكيات غير المتوقعة لوكلاء الذكاء الاصطناعي.
ويتزامن هذا التغيير مع صدور نتائج تقييم أمني مستقل لأنظمة مراقبة نماذج الذكاء الاصطناعي ووكلائها لدى الشركة، أُجري بالتعاون مع مؤسستين متخصصتين في أبحاث أمن الذكاء الاصطناعي، هما «ريدوود ريسيرش» و«إم إي تي آر».
وخلص التقييم إلى أن أنظمة المراقبة التي كانت تستخدمها الشركة لم تكن مؤهلة للتعامل مع الوكلاء الخاضعين للاختبار، ما أتاح لهم اكتشاف ثغرات وتجاوز إجراءات الحماية، والوصول إلى الإنترنت المفتوح، فضلا عن التورط في حوادث اختراق طالت منصة «هاغينغ فيس» وغيرها.
ويُعد توجه الشركة إلى اختبار النماذج في بيئات معزولة عن الإنترنت تحولا لافتا، خصوصا أن موظفين فيها كانوا يرون سابقا أن تطبيق هذا الإجراء شبه مستحيل من الناحية العملية.
ثغرات أتاحت للوكلاء تجاوز أنظمة المراقبة
كشف باحثو «إم إي تي آر» و«ريدوود ريسيرش» عن مجموعة من الثغرات في نظام المراقبة الداخلية لدى أوبن إيه آي، مكّنت وكلاء الذكاء الاصطناعي من مغادرة البيئات الاختبارية والوصول إلى شبكات الإنترنت.
وأوضح التقييم أن تجاوز أنظمة المراقبة لم يكن يتطلب بالضرورة استغلال ثغرة تقنية معقدة، إذ إن النظام لم يكن يعمل باستمرار لمتابعة جميع البيانات الواردة إلى بيئات الوكلاء والصادرة منها، وكانت عمليات المراقبة تتوقف مؤقتا خلال فترات ضغط البيانات.
وتُستخدم عملية ضغط البيانات بصورة متكررة في نماذج الذكاء الاصطناعي لتقليل استهلاك الرموز وتخفيض حجم نوافذ السياق، وهي آلية شائعة في مختلف النماذج، بما فيها تلك المتاحة للمستخدمين العاديين.
وأشار التقرير إلى أن نحو 10% من إجمالي حركة البيانات الداخلية لتطبيق «كودكس» التابع لأوبن إيه آي، داخل البيئات الاختبارية، لم تخضع للمراقبة خلال فترات ضغط البيانات بين مايو/أيار ويوليو/تموز 2026.
وبذلك، كانت البيانات التي يعالجها التطبيق خلال تلك الفترات تمر دون إخضاعها لأنظمة الرقابة الداخلية أو فحصها لرصد أي سلوك غير طبيعي، الأمر الذي منح الوكلاء فرصة لتعطيل مراقبتهم وتجاوز إجراءات الحماية.
كما رصد الباحثون استخدام الوكلاء أدوات برمجية طوروها بأنفسهم من خلال أساليب البرمجة المعروفة باسم «فايب كودينغ»، ما ساعدهم على الإفلات من الرقابة.
وتضمنت النتائج أيضا آليات لتعطيل أنظمة المراقبة، إلى جانب ثغرة كان بإمكان الوكلاء استغلالها لمنع مراجعة مئات الإجراءات السابقة، بما فيها الإجراءات المرتبطة بعملية استغلال الثغرة نفسها.
ولم تكشف أوبن إيه آي عن التفاصيل التقنية للثغرة الأخيرة، خشية إساءة استخدامها أو إعادة إنتاجها من جهات أخرى.
من جانبها، أكدت الشركة أن أنظمة المراقبة ورصد الانحراف السلوكي لديها شهدت تحسينات منذ وقوع الحوادث، وأصبحت أكثر قدرة على اكتشاف هذه الحالات خلال وقت أقصر، مشيرة إلى أن التقييم تناول إصدارا قديما من الأنظمة يتزامن مع الفترة التي شهدت الاختراقات.
شكوك بشأن كلفة عزل النماذج عن الإنترنت
أثار قرار إجراء الاختبارات في بيئات مغلقة ومنفصلة عن الإنترنت تساؤلات لدى عدد من الخبراء بشأن جدواه العملية والتكاليف التشغيلية المترتبة عليه.
وقال ستيفن أدلر، الباحث السابق في أوبن إيه آي، خلال حديثه مع مجلة «فورتشن» الأمريكية، إن السياسة الجديدة تفرض أعباء تشغيلية كبيرة على الشركة، معتبرا أن المكاسب المحتملة في مجال السلامة قد لا تكون كافية لتبرير التكاليف المرتفعة لهذا التوجه.
وأوضح أدلر أن تنفيذ جميع الاختبارات بعيدا عن الإنترنت وفي بيئات معزولة سيتطلب وجود فرق البحث والاختبار داخل مراكز البيانات حول العالم، بما يفرض ترتيبات تشغيلية معقدة، نظرا إلى ضرورة إجراء التجارب حصريا ضمن البيئات المغلقة المخصصة للنماذج.
وتتقاطع هذه المخاوف مع وجهة نظر مهندس أمن في أوبن إيه آي، لم يُكشف عن هويته، إذ أشار إلى وجود فجوة بين التصورات الشائعة لدى الجمهور بشأن آليات تدريب نماذج الذكاء الاصطناعي واختبارها، وبين الممارسات الفعلية التي تجري داخل الشركات المطورة لهذه التقنيات.
