يقول باستيان لو كويريك، الخبير القانوني في La Quadrature du Net: “الأشخاص الذين يتلقون مخصصات اجتماعية مخصصة للأشخاص ذوي الإعاقة (Alocation Adulte Handicapé، أو AAH) يتم استهدافهم بشكل مباشر من خلال متغير في الخوارزمية”. “يتم زيادة درجة المخاطر بالنسبة للأشخاص الذين يتلقون AAH والذين يعملون.”
ولأنه يسجل أيضًا أن الأسر ذات الوالد الوحيد أعلى من الأسر ذات الوالدين، فإن المجموعات تقول إنها تميز بشكل غير مباشر ضد الأمهات العازبات، اللاتي من المرجح إحصائيًا أن يكن مقدمات الرعاية الوحيدات. يقول لو كويريك: “في معايير نسخة 2014 من الخوارزمية، كانت درجة المستفيدين الذين تم طلاقهم لمدة تقل عن 18 شهرًا أعلى”.
وتقول شركة Changer de Cap إن كلاً من الأمهات العازبات والأشخاص ذوي الإعاقة قد اتصلوا بها بحثًا عن المساعدة، بعد أن خضعوا للتحقيق.
ولم تستجب وكالة CNAF، المسؤولة عن توزيع المساعدات المالية بما في ذلك الإسكان والإعاقة واستحقاقات الأطفال، على الفور لطلب التعليق أو لسؤال WIRED حول ما إذا كانت الخوارزمية المستخدمة حاليًا قد تغيرت بشكل كبير منذ إصدار 2014.
وكما هو الحال في فرنسا، تقول جماعات حقوق الإنسان في بلدان أوروبية أخرى إنها تُخضع أفراد المجتمع من ذوي الدخل المنخفض لمراقبة مكثفة – وغالباً ما تكون لها عواقب وخيمة.
عندما تم اتهام عشرات الآلاف من الأشخاص في هولندا – كثير منهم من المجتمع الغاني في البلاد – زوراً بالاحتيال على نظام إعانات الأطفال، لم يُطلب منهم فقط سداد الأموال التي قالت الخوارزمية إنهم سرقوها فحسب. ويزعم الكثير منهم أنهم تعرضوا أيضًا لديون متصاعدة ودمروا تصنيفاتهم الائتمانية.
المشكلة لا تكمن في الطريقة التي صممت بها الخوارزمية، بل في استخدامها في نظام الرعاية الاجتماعية، كما يقول سويزيك بينيكو، المحاضر في سياسة الذكاء الاصطناعي في جامعة ساينس بو باريس، والذي عمل سابقًا لدى الحكومة الفرنسية في مجال شفافية خوارزميات القطاع العام. وتقول: “إن استخدام الخوارزميات في سياق السياسة الاجتماعية ينطوي على مخاطر أكثر بكثير من الفوائد”. “لم أر أي مثال في أوروبا أو في العالم تم فيه استخدام هذه الأنظمة وحقق نتائج إيجابية.”
وللقضية تداعيات خارج فرنسا. من المتوقع أن تكون خوارزميات الرعاية الاجتماعية بمثابة اختبار مبكر لكيفية تطبيق قواعد الذكاء الاصطناعي الجديدة في الاتحاد الأوروبي بمجرد دخولها حيز التنفيذ في فبراير 2025. ومنذ ذلك الحين، سيتم استخدام “التسجيل الاجتماعي” – استخدام أنظمة الذكاء الاصطناعي لتقييم سلوك الناس ومن ثم إخضاع بعضهم. إلى معاملة ضارة – سيتم حظرها في جميع أنحاء الكتلة.
يقول ماتياس سبيلكامب، المؤسس المشارك لمنظمة Algorithm Watch غير الربحية: “إن العديد من أنظمة الرعاية الاجتماعية التي تقوم بكشف الاحتيال قد تكون، في رأيي، بمثابة تسجيل اجتماعي في الممارسة العملية”. ومع ذلك، من المرجح أن يختلف ممثلو القطاع العام مع هذا التعريف، ومن المرجح أن تنتهي الحجج حول كيفية تعريف هذه الأنظمة إلى المحكمة. يقول سبيلكامب: “أعتقد أن هذا سؤال صعب للغاية”.