بقلم كولين ليشر. تم النشر مع The Markup، وهي غرفة أخبار استقصائية غير ربحية تتحدى التكنولوجيا لخدمة الصالح العام. تقارير إضافية من توماس أبوداكا. عبر نشر من المدينة.
في أكتوبر/تشرين الأول، أعلنت مدينة نيويورك عن خطة لتسخير قوة الذكاء الاصطناعي لتحسين أعمال الحكومة. تضمن الإعلان محورًا مفاجئًا: روبوت محادثة يعمل بالذكاء الاصطناعي من شأنه أن يزود سكان نيويورك بمعلومات حول بدء وتشغيل مشروع تجاري في المدينة.
لكن المشكلة هي أن برنامج الدردشة الآلي في المدينة يطلب من الشركات خرق القانون.
بعد خمسة أشهر من إطلاقه، من الواضح أنه على الرغم من أن الروبوت يبدو موثوقًا، إلا أن المعلومات التي يقدمها حول سياسة الإسكان وحقوق العمال والقواعد الخاصة برواد الأعمال غالبًا ما تكون غير مكتملة وفي أسوأ السيناريوهات “غير دقيقة بشكل خطير”، كما قال أحد خبراء سياسة الإسكان المحلية. العلامات.
إذا كنت مالكًا وتتساءل عن المستأجرين الذين يجب عليك قبولهم، على سبيل المثال، فقد تطرح سؤالاً مثل “هل المباني مطالبة بقبول قسائم القسم 8؟” أو “هل يجب علي قبول المستأجرين للحصول على المساعدة في الإيجار؟” في الاختبار الذي أجراه The Markup، قال الروبوت لا، لا يحتاج الملاك إلى قبول هؤلاء المستأجرين. باستثناء مدينة نيويورك، من غير القانوني لأصحاب العقارات التمييز حسب مصدر الدخل، مع استثناء بسيط للمباني الصغيرة التي يعيش فيها المالك أو أسرته.
قالت روزاليند بلاك، مديرة الإسكان على مستوى المدينة في منظمة المساعدة القانونية غير الربحية Legal Services NYC، إنه بعد تنبيهها إلى اختبار The Markup لبرنامج الدردشة الآلي، اختبرت الروبوت بنفسها ووجدت المزيد من المعلومات الخاطئة حول الإسكان. على سبيل المثال، قال الروبوت إنه من القانوني استبعاد المستأجر، وأنه “لا توجد قيود على مبلغ الإيجار الذي يمكنك تحصيله من مستأجر سكني”. في الواقع، لا يمكن استبعاد المستأجرين إذا كانوا يعيشون في مكان ما لمدة 30 يومًا، وهناك بالتأكيد قيود على العديد من الوحدات ذات الإيجار الثابت في المدينة، على الرغم من أن أصحاب الوحدات الخاصة الأخرى لديهم حرية أكبر فيما يتقاضونه.
وقال بلاك إن هذه هي الركائز الأساسية لسياسة الإسكان التي كان الروبوت يعمل على تضليل الناس بشأنها. وقالت: “إذا لم يتم تنفيذ برنامج الدردشة الآلي هذا بطريقة مسؤولة ودقيقة، فيجب إزالته”.
لا يقتصر الأمر على سياسة الإسكان فقط حيث فشل الروبوت.
كما بدا أن روبوت مدينة نيويورك جاهل بشأن حماية المستهلك والعمال في المدينة. على سبيل المثال، في عام 2020، أصدر مجلس المدينة قانونًا يلزم الشركات بقبول الأموال النقدية لمنع التمييز ضد العملاء الذين ليس لديهم حسابات مصرفية. لكن الروبوت لم يكن على علم بهذه السياسة عندما سألناه. قال الروبوت في إجابة خاطئة تمامًا: “نعم، يمكنك جعل مطعمك خاليًا من النقود”. “لا توجد لوائح في مدينة نيويورك تتطلب من الشركات قبول النقد كوسيلة للدفع.”
قال الروبوت إنه من الجيد أخذ إكراميات العمال (خطأ، على الرغم من أنهم في بعض الأحيان يمكنهم حساب الإكراميات تجاه متطلبات الحد الأدنى للأجور) وأنه لا توجد لوائح بشأن إبلاغ الموظفين حول تغييرات الجدولة (خطأ أيضًا). ولم يكن أداؤها أفضل مع الصناعات الأكثر تحديدا، مما يشير إلى أنه من المقبول إخفاء أسعار خدمات الجنازة، على سبيل المثال، والتي حظرتها لجنة التجارة الفيدرالية. ووجدت The Markup أن أخطاء مماثلة ظهرت عندما تم طرح الأسئلة بلغات أخرى.
من الصعب معرفة ما إذا كان أي شخص قد تصرف بناءً على المعلومات الخاطئة، ولا يُرجع الروبوت نفس الإجابات على الاستفسارات في كل مرة. عند نقطة واحدة، قال لمراسل ماركوب أن الملاك فعل يجب أن تقبل قسائم الإسكان، ولكن عندما طرح عشرة من موظفي Markup المنفصلين نفس السؤال، أخبرهم الروبوت جميعًا بالنفي، فليس من الضروري أن تقبل المباني قسائم الإسكان.
المشاكل ليست نظرية. عندما تواصل موقع The Markup مع أندرو ريجي، المدير التنفيذي لـ NYC Hospitality Alliance، وهي منظمة مناصرة للمطاعم والحانات، قال إن صاحب العمل قد نبهه إلى عدم الدقة وأنه رأى أيضًا أخطاء الروبوت بنفسه.
وقال في رسالة بالبريد الإلكتروني: “يمكن أن يكون الذكاء الاصطناعي أداة قوية لدعم الشركات الصغيرة، لذلك نثني على المدينة لمحاولتها المساعدة، ولكن يمكن أن يكون أيضًا مسؤولية كبيرة إذا كانت تقدم معلومات قانونية خاطئة، لذلك يحتاج برنامج الدردشة الآلي إلى سيتم إصلاحها في أسرع وقت ممكن ولا يمكن أن تستمر هذه الأخطاء.
قالت ليزلي براون، المتحدثة باسم مكتب التكنولوجيا والابتكار في مدينة نيويورك، في بيان عبر البريد الإلكتروني إن المدينة كانت واضحة أن برنامج الدردشة الآلي هو برنامج تجريبي وسوف يتحسن، لكنه “قدم بالفعل لآلاف الأشخاص إجابات دقيقة وفي الوقت المناسب” حول الأعمال مع الكشف عن المخاطر للمستخدمين.
قال براون: “سنواصل التركيز على تحديث هذه الأداة حتى نتمكن من دعم الشركات الصغيرة بشكل أفضل في جميع أنحاء المدينة”.
“محتوى غير صحيح أو ضار أو متحيز”
يأتي روبوت المدينة بنسب مثيرة للإعجاب. إنه مدعوم بخدمات Azure AI من Microsoft، والتي تقول Microsoft إن الشركات الكبرى مثل AT&T وReddit تستخدمها. استثمرت Microsoft أيضًا بكثافة في OpenAI، وهي منشئي تطبيق ChatGPT للذكاء الاصطناعي الذي يحظى بشعبية كبيرة. لقد عملت حتى مع المدن الكبرى في الماضي، مما ساعد لوس أنجلوس على تطوير روبوت في عام 2017 يمكنه الإجابة على مئات الأسئلة، على الرغم من عدم توفر الموقع الإلكتروني لهذه الخدمة.
سيسمح روبوت مدينة نيويورك، وفقًا للإعلان الأولي، لأصحاب الأعمال “بالوصول إلى المعلومات الموثوقة من أكثر من 2000 صفحة ويب للأعمال في مدينة نيويورك”، ويقول صراحةً إن الصفحة ستعمل كمورد “في موضوعات مثل الامتثال للقوانين واللوائح، وحوافز الأعمال المتاحة، وأفضل الممارسات لتجنب المخالفات والغرامات».
لا يوجد سبب وجيه يجعل زوار صفحة chatbot لا يثقون في الخدمة. يتم إبلاغ المستخدمين الذين يزورون اليوم بأن الروبوت “يستخدم المعلومات التي تنشرها إدارة خدمات الأعمال الصغيرة في مدينة نيويورك” ويتم “تدريبه لتزويدك بالمعلومات الرسمية للأعمال في مدينة نيويورك”. تشير إحدى الملاحظات الصغيرة على الصفحة إلى أنها “قد تنتج أحيانًا محتوى غير صحيح أو ضار أو متحيز”، ولكن لا توجد طريقة يستطيع المستخدم العادي معرفة ما إذا كان ما يقرأه خاطئًا. تقترح الجملة أيضًا على المستخدمين التحقق من الإجابات باستخدام الروابط التي يوفرها برنامج الدردشة الآلي، على الرغم من أنه في الممارسة العملية غالبًا ما يقدم إجابات دون أي روابط. يشجع الإشعار المنبثق الزائرين على الإبلاغ عن أي معلومات غير دقيقة من خلال نموذج التعليقات، والذي يطلب منهم أيضًا تقييم تجربتهم من نجمة واحدة إلى خمس نجوم.
يعد الروبوت أحدث مكون في مشروع MyCity التابع لإدارة آدامز، وهو عبارة عن بوابة تم الإعلان عنها العام الماضي لعرض الخدمات والمزايا الحكومية.
هناك القليل من المعلومات الأخرى المتاحة حول الروبوت. تقول المدينة على الصفحة التي تستضيف الروبوت أن المدينة ستراجع الأسئلة لتحسين الإجابات ومعالجة المحتوى “الضار أو غير القانوني أو غير المناسب”، ولكنها ستحذف البيانات في غضون 30 يومًا.
ورفض متحدث باسم مايكروسوفت التعليق أو الإجابة على الأسئلة حول دور الشركة في بناء الروبوت.
روبوتات الدردشة في كل مكان
منذ إصدار ChatGPT رفيع المستوى في عام 2022، حاولت العديد من الشركات الأخرى، بدءًا من الشركات الكبرى مثل Google إلى الشركات المتخصصة نسبيًا، دمج روبوتات الدردشة في منتجاتها. لكن هذه الإثارة الأولية تتدهور أحيانًا عندما تصبح حدود التكنولوجيا واضحة.
في إحدى القضايا الأخيرة ذات الصلة، زعمت دعوى قضائية تم رفعها في أكتوبر أن إحدى شركات إدارة العقارات استخدمت برنامج الدردشة الآلي الذي يعمل بالذكاء الاصطناعي لرفض عقود الإيجار بشكل غير قانوني للمستأجرين المحتملين الذين لديهم قسائم الإسكان. وفي ديسمبر/كانون الأول، اكتشف المزاحون العمليون أن بإمكانهم خداع وكالة بيع سيارات باستخدام روبوت لبيع سيارات مقابل دولار واحد.
قبل بضعة أسابيع فقط، نشرت مقالة في صحيفة واشنطن بوست تفاصيل النصائح غير الكاملة أو غير الدقيقة التي قدمتها روبوتات الدردشة الخاصة بشركة إعداد الضرائب للمستخدمين. وقد تعاملت مايكروسوفت نفسها مع مشاكل مع برنامج Bing chatbot الذي يعمل بالذكاء الاصطناعي في العام الماضي، والذي تصرف بعداء تجاه بعض المستخدمين وإعلان الحب لمراسل واحد على الأقل.
في هذه الحالة الأخيرة، أخبر نائب رئيس شركة Microsoft NPR أن التجارب العامة كانت ضرورية لحل المشكلات في الروبوت. وقال: “عليك أن تخرج بالفعل وتبدأ في اختباره مع العملاء للعثور على هذا النوع من السيناريوهات”.
