في يوم الاثنين ، لاحظ مطور يستخدم مؤشر محرر التعليمات البرمجية الشهير الذي يعمل بنيو ذاهتي شيء غريب: التبديل بين الآلات قام بتسجيلها على الفور ، وكسر سير العمل المشترك للمبرمجين الذين يستخدمون أجهزة متعددة. عندما اتصل المستخدم بدعم المؤشر ، أخبرهم وكيل يدعى “سام” أن السلوك المتوقع بموجب سياسة جديدة. ولكن لم تكن مثل هذه السياسة ، وكان سام روبوت. قام نموذج الذكاء الاصطناعى برفع السياسة ، مما أثار موجة من الشكاوى وتهديدات الإلغاء الموثقة على أخبار Hacker و Reddit.
هذا يمثل أحدث مثيل من عوامل الذكاء الاصطناعى (تسمى أيضًا “الهلوسة”) مما يسبب أضرارًا محتملة في الأعمال التجارية. Confabulations هي نوع من استجابة “ملء الفجوة الإبداعية” حيث تخترع نماذج الذكاء الاصطناعى معلومات معقولة ولكنها كاذبة. بدلاً من الاعتراف بعدم اليقين ، غالبًا ما تعطي نماذج الذكاء الاصطناعي أولوية إنشاء ردود معقولة واثقة ، حتى عندما يعني ذلك تصنيع المعلومات من نقطة الصفر.
بالنسبة للشركات التي تنشر هذه الأنظمة في الأدوار التي تواجه العملاء دون إشراف على الإنسان ، يمكن أن تكون العواقب فورية ومكلفة: العملاء المحبطون ، والثقة التالفة ، وفي حالة المؤشر ، قد تم إلغاؤها.
كيف تكشفت
بدأ الحادث عندما لاحظ مستخدم Reddit يدعى Brokentoasteroven أنه أثناء التبديل بين سطح المكتب ، والكمبيوتر المحمول ، وصندوق Dev البعيد ، تم إنهاء جلسات المؤشر بشكل غير متوقع.
وكتب Brokentoasteroven في رسالة تم حذفها لاحقًا من قِبل R/المؤشر: “يسجل تسجيل الدخول إلى المؤشر على جهاز واحد على الفور الجلسة على أي جهاز آخر”. “هذا هو الانحدار الهام UX.”
في حيرة من أمره وإحباطه ، كتب المستخدم رسالة بريد إلكتروني إلى دعم المؤشر وتلقي رد من SAM بسرعة: “تم تصميم المؤشر للعمل مع جهاز واحد لكل اشتراك كميزة أمان أساسية” ، اقرأ رد البريد الإلكتروني. بدت الاستجابة نهائية ورسمية ، ولم يشك المستخدم في أن سام لم يكن بشريًا.
بعد منشور Reddit الأولي ، أخذ المستخدمون هذا المنشور كتأكيد رسمي لتغيير السياسة الفعلي – الذي كسر العادات الضرورية للعديد من الروتين اليومي للعديد من المبرمجين. وكتب أحد مستخدمي: “سير العمل متعدد الأجهزة هي حصص الجدول لدافئ”.
بعد ذلك بفترة وجيزة ، أعلن العديد من المستخدمين علنا إلغاء الاشتراك على Reddit ، مشيرين إلى السياسة غير الموجودة كسبب لهم. كتبت ملصق Reddit الأصلي: “لقد ألغت حرفيًا للتو Sub الخاص بي” ، مضيفًا أن مكان عملهم أصبح الآن “تطهيره تمامًا”. انضم آخرون إلى: “نعم ، أنا ألغي كذلك ، هذا هو asinine.” بعد فترة وجيزة ، أغلق المشرفون موضوع Reddit وأزلوا المنشور الأصلي.
“مهلا! ليس لدينا مثل هذا السياسة” ، كتب ممثل المؤشر في رد رديت بعد ثلاث ساعات. “أنت بالطبع حرة في استخدام المؤشر على أجهزة متعددة. لسوء الحظ ، هذه استجابة غير صحيحة من روبوت دعم الذكاء الاصطناعي في الخط الأمامي.”
منظمة العفو الدولية لمخاطر الأعمال
تتذكر كارسور كارزور حلقة مماثلة من فبراير 2024 عندما أُمرت شركة Air Canada بتكريم سياسة استرداد تم اختراعها بواسطة chatbot الخاصة بها. في هذا الحادث ، اتصل جيك موفات بدعم Air Canada بعد وفاة جدته ، وأخبره عميل AI في شركة الطيران بشكل غير صحيح أنه يمكنه حجز رحلة باهظة الثمن والتقدم بطلب للحصول على معدلات الفجيعة بأثر رجعي. عندما رفضت شركة Air Canada في وقت لاحق طلب استرداد الأموال ، جادلت الشركة بأن “chatbot هو كيان قانوني منفصل مسؤول عن أفعالها.” رفضت محكمة كندية هذا الدفاع ، وهي حكم بأن الشركات مسؤولة عن المعلومات التي توفرها أدوات الذكاء الاصطناعي.
بدلاً من التنازع على المسؤولية كما فعلت Air Canada ، اعترف Cursor بالخطأ واتخذ خطوات لتعديل. اعتذر Michael Truell ، مؤسس المؤشر ، في وقت لاحق عن Hacker News عن الالتباس حول السياسة غير الموجودة ، موضحًا أن المستخدم قد تم رده وأن المشكلة نتجت عن تغيير في الواجهة الخلفية التي تهدف إلى تحسين أمان الجلسة التي أنشأت عن غير قصد مشاكل إبطال الجلسة لبعض المستخدمين.
وأضاف “أي استجابات منظمة العفو الدولية المستخدمة لدعم البريد الإلكتروني هي الآن موصولة بوضوح على هذا النحو”. “نستخدم الردود بمساعدة AI كمرشح أول لدعم البريد الإلكتروني.”
ومع ذلك ، أثار الحادث أسئلة باقية حول الكشف بين المستخدمين ، لأن العديد من الأشخاص الذين تفاعلوا مع سام يعتقدون أنه كان بشريًا. وكتب أحد المستخدمين على هاكير نيوز: “LLMS تتظاهر بأنهم أشخاص (قمت بتسمية SAM!) وليس المسمى على هذا النحو يُقصد منه أن يكون خادعًا”.
في حين أن المؤشر إصلاح الخلل التقني ، فإن الحلقة توضح مخاطر نشر نماذج الذكاء الاصطناعى في أدوار تواجه العملاء دون ضمانات وشفافية مناسبة. بالنسبة لشركة تبيع أدوات إنتاجية الذكاء الاصطناعى للمطورين ، فإن وجود نظام دعم الذكاء الاصطناعى الخاص به يخترع سياسة تنفر مستخدميها الأساسيين يمثل جرحًا محرجًا ذاتيًا.
وكتب أحد المستخدمين على أخبار المتسللين: “هناك قدر معين من المفارقة التي يحاول الناس بجد أن يقولوا إن الهلوسة لم تعد مشكلة كبيرة بعد الآن.
ظهرت هذه القصة في الأصل على ARS Technica.