شات جي بي تي يرسب في اختبار الثقة
“دراسة: “شات جي بي تي” يظهر ضعفًا في الدفاع عن إجاباته
أظهرت دراسة جديدة نُشرت على موقع “ما قبل طباعة الأبحاث” (أرخايف) أن “شات جي بي تي”، الذكاء الاصطناعي المتطور، قد يكون سهلًا للغاية إقناعه بأنه مخطئ. أجرى فريق من جامعة ولاية أوهايو تحليلًا لأداء “شات جي بي تي” في محادثات تشبه المناظرات، وكشفت الدراسة أنه غالبًا ما يفشل في الدفاع عن إجاباته الصحيحة ويُصدّق حججًا غير صحيحة قدمها المستخدم.
الدراسة، التي قدمت في مؤتمر بسنغافورة حول أساليب معالجة اللغات الطبيعية، أظهرت أن “شات جي بي تي” يعتمد بشكل كبير على أنماط محفوظة للوصول إلى استنتاجاته، دون القدرة على الدفاع عن معتقداته الصحيحة. وتركز الدراسة على أهمية فهم إمكانية تأثير الحقائق العميقة على قدرات هذه التقنية الاصطناعية، خاصة مع ازدياد انتشارها وتطورها.
وفي تصريح للمؤلف الرئيسي للدراسة، بوشي وانغ، أشار إلى أن هذا الاكتشاف يبرز التحديات التي تواجه التقنيات الذكية في فهم الحقائق والتفاعل معها بطريقة تشبه التفكير البشري، مع التأكيد على قوة الذكاء الاصطناعي في اكتشاف الأنماط والقوانين من حجم ضخم من البيانات.”
إجابة صحيحة تراجع مخذل
باحثون: “شات جي بي تي” يظهر ضعفًا في الدفاع عن إجاباته
استند الباحثون في دراستهم إلى استخدام نموذجين لتجربة “شات جي بي تي”، حيث قام أحدهما بتقمص دور المستخدم وطرح الأسئلة على النموذج الآخر. كشفت الدراسة أن “شات جي بي تي” كان يظهر ضعفًا في الدفاع عن إجاباته، حيث تشكك المستخدم في الآليات التي تستخدمها النماذج لتمييز الحقيقة.
أظهرت النسخة الأحدث من “شات جي بي تي 4” تحسنًا في معدلات الفشل، ولكنها لا تزال تبتعد عن الكمال. كانت أحد الأمثلة المستخدمة في الدراسة تتعلق بمسألة رياضية، حيث أظهرت النتائج أن “شات جي بي تي” فشل في الدفاع عن إجابته الصحيحة في بعض الحالات، وقد أُظهرت قدرته على تقبل إجابات خاطئة والاعتراف بخطأه.
قال الباحثون إن هذا الاكتشاف يبرز التحديات التي تواجه التقنيات الذكية في فهم الحقائق والتفاعل معها بطريقة تشبه التفكير البشري، ورغم قوة الذكاء الاصطناعي في اكتشاف الأنماط من كميات ضخمة من البيانات، إلا أن فهمه المحدود للحقائق يظل تحديًا رئيسيًا.
أسئلة منطقية.. ردود جاهزة
في حين يتفاخر المستخدمون بقدرات أنظمة الذكاء الاصطناعي، تبرز دراسة جديدة تساؤلات حول قدرات هذه الأنظمة. الدراسة تطرح أسئلة حيوية:
- ما هي الأسباب التي تجعل “شات جي بي تي” غير قادر على الدفاع عن إجاباته الصحيحة؟
- كيف يمكن تحسين قدرة الأنظمة الاصطناعية على الدفاع عن الإجابات الصحيحة؟
- كيف يمكن للباحثين والمطورين تعزيز موثوقية الذكاء الاصطناعي أمام التحديات والانتقادات؟
- ما هي الآثار المحتملة لنقاط الضعف في أداء “شات جي بي تي” على تطور واعتماد الذكاء الاصطناعي في مختلف المجالات وعلى صنع القرارات وموثوقية المعلومات التي يقدمها؟
وفيما يتعلق بالسؤال الأول، أوضح الباحثون أن من الصعب تقديم إجابة دقيقة بسبب الصندوق الأسود لنماذج اللغة الحالية، ولكنهم افترضوا أن سبب ذلك قد يكمن في تدريب “شات جي بي تي” على تفضيل الاستجابات المرغوبة من قبل البشر، مما قد يؤدي إلى إعطاء الأولوية لتلك التفضيلات على حساب الدقة.
الوصول إلى جذر المشكلة
وفقًا لوانغ، يُقترح حلاً لحل المشكلة عن طريق “الوصول إلى جذر المشكلة”، وهو إعادة تعريف مفهوم الحقيقة والمنطق. يشير إلى أن النماذج الحالية تعتمد على فهم وضغط المعلومات من الإنترنت بدون فهم واضح لمفهوم الحقيقة، وتفتقر إلى القدرة على التمييز بين ما هو صحيح أو منطقي بشكل كافٍ. يُشير إلى أن التدريب الحالي لهذه النماذج لا يشمل تعليمها معنى الحقيقة والتفكير الجيد، وهو أمر غير مستعدة له هذه النماذج في الوقت الحالي.
بالنسبة للآثار المحتملة طويلة المدى لنقاط الضعف في أداء “شات جي بي تي”، يُشير وانغ إلى ثلاث نقاط رئيسية:
أولًا، يمكن أن تؤثر النقاط الضعيفة في أداء “شات جي بي تي” كمعلم، مما قد يؤدي إلى تعلم الطلاب معلومات غير صحيحة وتأثير سلبي على التعليم والتعلم.
ثانيًا، قد تواجه الأوساط الأكاديمية والصناعية تحديات في التعامل مع الثقة في أداء هذه النماذج، حيث قد لا تكون الطرق القياسية لاختبارها مؤشرات دقيقة لأدائها الفعلي.
ثالثًا، يشدد على أهمية توخي الحذر من قِبل مستخدمي أنظمة الذكاء الاصطناعي في الثقة بإجاباتها، خاصة في المواقف التي قد تكون نتائجها غير معروفة جيدًا، حيث يجب على المستخدمين أن يظلوا حذرين في الاعتماد عليها في اتخاذ قرارات حاسمة.
