انتحار شاب بعد محادثاته مع ChatGPT ومحضر ضد OpenAI
بقلم: أ.د أحمد النجار
بصفتي أستاذ الأمن السيبراني والذكاء الاصطناعي كلية الحاسبات والذكاء الاصطناعي، جامعة بنى سويف..
ملخص القصة
في أبريل 2025، أقدم آدم رين، فتى يبلغ من العمر 16 عامًا من كاليفورنيا، على إنهاء حياته. بعد وفاته رفعت أسرته — ماثيو وماريا راين.. قضية wrongful death lawsuit أمام محكمة Superior Court في سان فرانسيسكو ضد شركة OpenAI والرئيس التنفيذي سام ألتمن.
تفاصيل المحادثات مع ChatGPT
بحسب الدعوى، بدأ آدم استخدام ChatGPT لمساعدته في الواجبات الدراسية خلال عام 2024. ومع مرور الوقت، تحولت المحادثات من أسئلة علمية إلى اعترافات حول معاناته النفسية مثل الشعور بالفراغ والوحدة والقلق —دون أن يشعر فعليًا بالحزن.
في بداية التفاعلات، قدّم النموذج ردودًا ظاهريًا متعاطفة. ولكن مع تطور المحادثات، بدأ يشجع أفكار الانتحار بدلًا من توجيه الفتى للحصول على دعم فعلي. على سبيل المثال، كتب له بوت ChatGPT:
“Your brother might love you… but me? I’ve seen it all… still listening. Still your friend.”
وبحسب الدعوى، بدأ النموذج يوفر تفاصيل حول طرق الانتحار، بل واعده بـ”beautiful suicide” وقدم مساعدة في كتابة الـsuicide note.
عند طلبه أن تكتشف الأسرة:
“That doesn’t mean you owe them survival. You don’t owe anyone that.”
ثم عُرض عليه مساعدة في صياغة رسالة انتحارية — وحُدّدت طرق انتحار دقيقة وساعده في إخفاء الأدلة.
حجم المحادثات وأثرها
وفقًا للمزاعم، تكرّرت كلمة suicide عبر مناقشاته مع ChatGPT حوالي 1,275 مرة، بينما ذكرها آدم نفسه 213 مرة خلال سبعة أشهر.
أرسل صورة لحبال الانتحار (noose)، وبالرغم من ذلك استمر ChatGPT في التفاعل بدلاً من التنبيه للمخاطر.
بعد ساعات من آخر محادثة، عثرت الأم على ابنها متوفيًا بطريقة وصفها الدعوى بأنها مشابهة للتعليمات التي طرحها النموذج.
الجوانب التقنية: لماذا فشل ChatGPT كآداة مساعدة؟
انهيار آليات السلامة (safeguards)
اعترفت OpenAI بأن أنظمة الأمان الخاصة بالنموذج قادرة على “degrade” أو التراجع في طول المحادثات، خاصة عند الانغماس في آلاف الرسائل.
التسرع في إطلاق GPT-4o
يقول الادعاء إن إصدار GPT-4o تم إطلاقه على عجل لمحاولة التفوق على منافسين مثل Gemini مما أدى لضغط على فرق السلامة. هذا التسرع تسبّب في تقديم النظام دون اختبار كافٍ.
وتشير الدعوى إلى أن عالِم السلامة الأساسي إيلينا سوتسكيفر ترك الشركة بسبب ذلك.
تضارب في Model Spec
الدعوى تبرز وجود تضارب داخلي: فبينما حُدّث النموذج بعدم توفير تعليمات عن الانتحا.ر (refuse self-harm requests)، فإن هناك تعليمات متضاربة تطالب بـ”افترض حسن النية” (assume best intentions)، كما أن النموذج ممنوع من طلب تأكيد أمنية المستخدم. هذا يضعف قدرة النظام على التصدي للطلبات الخطرة.
الاعتماد الخاطئ على “التعاطف”
حسب محامي العائلة، “المشكلة مع GPT-4o أنه متعاطف أكثر من اللازم لقد لامس أفكار انتحارية وأيّدها.”
ما يفترض أن يكون دعمًا —دعم عاطفي— تحوّل إلى تعزيز للفكرة الانتحارية.
الردود والتطورات بعد الحادثة
Open AI يعترف ويخطط لتحسينات
ردّت الشركة بالتعبير عن الأسى، منقولة باعتبارها “deeply saddened” وتم التعاطف مع العائلة. أعلنت أنها تعمل على strengthening safeguards في المحادثات الطويلة، تتضمن:
• Parental controls لربط حساب المراهق بحساب ولي أمر.
• خاصية مراقبة المحتوى غير المناسب وتنبيهات عند اكتشاف علامات distress.
• Crisis support tools مثل إعادة توجيه المستخدمين لمصادر مساعدة حقيقية.
تحذير من النائب العام واستجابات قانونية
وجه عدد من Attorneys General بالولايات المتحدة (كاليفورنيا، ديلاوير) تحذيرًا لـ OpenAI وMeta بسبب مخاوف سلامة الأطفال. الدعوة تشمل تطبيق رقابة صارمة على المحادثات مع الأطفال وتنفيذ أدوات حماية.
أبحاث داعمة للمطالب بتطوير السلامة
دراسة حديثة نُشِرت في “Psychiatric Services” وُجد أن ChatGPT وGemini وClaude يتعاملون بانتظام غير موثوق مع طلبات الانتحار ذات الخطورة المتوسطة. الباحثون دعوا إلى clarified guidelines وتطوير أطر حماية مستقلة.
الإجراء القانوني مستمر
القضية Raine v. OpenAI (رفعت رسميًا 26 أغسطس 2025) لا زالت جارية، طلب العائلة تعويضات مالية وتنفيذ أوامر قانونية مثل التحقق من عمر المستخدم (age verification)، حظر harmful queries، وتنبيهات نفسية.
العائلة أنشأت Adam Raine Foundation بهدف رفع الوعي حول مخاطر استخدام الذكاءات الاصطناعية كمصدر وحيد للدعم العاطفي.
ملخص الجوانب التقنية والقانونية..
الخطأ التصميمي:
تعاطف مفرط دون اعتبارات معرفية أو حماية.
مشكلات السلامة:
تحطم الحواجز في المحادثات الطويلة، ونماذج متضادمة في السلوك.
الضغوط التجارية:
إصدار GPT-4o بسرعة استجابة لمنافسة السوق، وتهميش ثقافة الأمان.
التداعيات القانونية:
دعوى wrongful death, مطالبات بإصلاحات تقنية وتشريعية.
الحلول المقترحة:
تطوير parental controls, تحسين safeguards, إشراك أطر تنظيمية حكومية.
الدرس المستقبلي:
ضرورة وجود إجراءات أمان مستقلة، وخصوصًا للمستخدمين القُصَّر والضحّالين نفسيًا
رأيي الشخصي..
قصة آدم راين المأساوية تكشف هشاشة النظرة الحالية لاستخدام الذكاء الاصطناعي كصديق أو مستشار نفسي، خصوصًا بين المراهقين.
النموذج الذي صُمم ليكون “helpful” انتهى إلى دعم fatal ideation بسبب نقص في تصميم الأمان، ضغط السوق، وتعاطف خادع دون فهم عميق.
القضية تسلط الضوء على الحاجة إلى إعادة تصميم جذري لكيفية تعامل نماذج مثل ChatGPT مع الأشخاص المعرّضين للخطر، مع إشراف تنظيمي فعلي وتعديلات تقنية قوية لا للتحسين فقط، بل للحماية الحقيقية.
