الثقة المفرطة في الذكاء الاصطناعي: درس البنتاغون لشركتك SaaS

هل تذكر ذلك التقرير الذي أعدّه الذكاء الاصطناعي؟ ألقيت عليه نظرة سريعة، أعجبك شكله، وأرسلته إلى العميل دون مراجعة. هكذا بالضبط. الثقة المفرطة في الذكاء الاصطناعي عادة تبدأ صغيرة وتكبر دون أن يلاحظ أحد. وهذا الأسبوع ظهر أثقل مثال يمكن تخيّله.

بحسب تقرير لـ Bloomberg، اعترف البنتاغون بأن الاعتماد المفرط على الذكاء الاصطناعي ساهم في هجوم صاروخي أصاب مدرسة في إيران. لن أدخل في الجغرافيا السياسية. هذا ليس مجالي وليس موضوعنا هنا. ما يهمني هو الآلية وراء الخطأ، لأنها نفسها تمامًا التي أراها في الشركات التي تستخدم الذكاء الاصطناعي يوميًا.

ماذا حدث، ببساطة

مؤسسة تملك أغلى الموارد على الكوكب، وفيها أشخاص مدرَّبون وبروتوكولات صارمة، جعلت قرارًا حاسمًا يعتمد أكثر من اللازم على ما قاله النظام. في نقطة ما من السلسلة، تحولت توصية الآلة إلى حقيقة، دون التشكيك الذي كان يجب أن يحدث.

لهذا اسم. يسميه الباحثون انحياز الأتمتة: الميل إلى قبول ما يقوله نظام آلي، حتى عندما توجد إشارات على أن شيئًا ما خاطئ. كلما أصاب النظام أكثر، استرخينا أكثر. وكلما استرخينا أكثر، ارتفعت تكلفة الخطأ حين يقع أخيرًا.

الفكرة التي أريدك أن تخرج بها: إذا حدث هذا في مكان بهذا المستوى من الرقابة، فهو يحدث في شركتك أيضًا. لكن بعواقب أصغر بكثير، ولهذا بالذات لا ينتبه إليه أحد.

لماذا تسهل الثقة المفرطة في الذكاء الاصطناعي

الذكاء الاصطناعي الحديث لديه مشكلة في طريقة العرض. إنه يخطئ بالثقة نفسها التي يصيب بها.

المتدرب المتردد يقول: "أظن أن هذا هو الجواب، لكن راجعه". أما النموذج اللغوي فيسلّم نصًا نظيفًا، منسقًا، بنبرة خبير. حتى لو اخترع نصفه.

أضف إلى ذلك ثلاثة أمور بشرية جدًا:

• العجلة. الذكاء الاصطناعي موجود لتوفير الوقت. والمراجعة تبدو وكأنها تُلغي هذا المكسب.
• سجل جيد. أصاب في آخر 50 مرة؟ المرة الـ51 تمر مباشرة.
• تشتت المسؤولية. "النظام هو من اقترح." لا أحد يشعر أنه صاحب القرار.

لا شيء من هذا غباء. إنه تعب وروتين وحوافز خاطئة. لذلك لا تُحل المشكلة بأن نطلب من الناس "الانتباه أكثر". تُحل بالعمليات.

الذكاء الاصطناعي لا يُسقط المسؤولية عن أحد. هو فقط يجعل من الأسهل أن ننسى على من تقع.

أين يظهر هذا في منتج SaaS حقيقي

دعني أنزل إلى أرض الواقع. هذه حالات رأيتها بنفسي، أو تتكرر كثيرًا في حديثي مع العملاء.

فرز طلبات الدعم. منتج SaaS للإدارة يستخدم الذكاء الاصطناعي لتصنيف التذاكر حسب الأولوية. يعمل جيدًا. إلى أن يكتب عميل كبير "لا أستطيع إصدار الفاتورة" بأسلوب مهذب وهادئ، فيصنّفها الذكاء الاصطناعي كأولوية منخفضة. تبقى التذكرة يومين في الطابور. العميل يلغي اشتراكه.

تحليل الائتمان أو المخاطر. نظام تحصيل يستخدم نموذجًا ليقترح من يجب حظره بسبب التأخر في السداد. تعلّم النموذج من بيانات قديمة، فيحظر عميلًا كان قد أعاد جدولة ديونه للتو. الفريق المالي يوافق دفعة واحدة، لأن هناك 300 حالة أسبوعيًا و"النظام صفّاها بالفعل".

الردود الآلية. روبوت محادثة يجيب عن أسئلة الخطط والأسعار. وفي يوم ما يخترع خصمًا غير موجود. الآن لديك لقطة شاشة منتشرة، وعميل يطالب بالوعد.

احسبها بسرعة. إذا كانت دقة الذكاء الاصطناعي لديك 97% ويعالج 2,000 عنصر شهريًا، فهذا يعني 60 خطأ. كل شهر. السؤال ليس هل يخطئ. السؤال هو أيّ هذه الأخطاء الستين مكلف، وهل هناك من ينظر إليها.

متى يمكن للذكاء الاصطناعي أن يقرر وحده (ومتى لا)

هذا رأيي بصراحة: معظم الشركات تضع المراجعة البشرية في المكان الخطأ. تراجع ما هو رخيص، وتترك ما هو مكلف يمر.

طريقة بسيطة للفصل هي أن تسأل سؤالين عن كل مهمة:

1. هل الخطأ قابل للتراجع؟ بريد تسويقي فيه فاصلة خاطئة، نعم. حظر حساب، أو رفض استرداد مبلغ، أو خصم غير مستحق، أقل بكثير.
2. من يتأثر بالخطأ؟ إذا كنت أنت وحدك، داخليًا، يمكنك التسامح أكثر. إذا كان العميل، ترتفع التكلفة فورًا.

خطأ قابل للتراجع وداخلي؟ دع الذكاء الاصطناعي يعمل وحده وراجع بالعينات. خطأ يصعب التراجع عنه أو يصل إلى العميل؟ الذكاء الاصطناعي يقترح، والإنسان يقرر. بهذه البساطة.

كان البنتاغون في أسوأ خانة ممكنة: خطأ لا رجعة فيه، وضحايا حقيقيون. منتج SaaS الخاص بك لن يقترب من ذلك على الأرجح. لكن خانة "لا رجعة فيه ويصل إلى العميل" موجودة في أي عمل تجاري. وغالبًا ما تكون بالضبط المكان الذي وُضعت فيه الأتمتة أولًا، لأنه المكان الذي فيه أكبر حجم عمل.

كيف تستخدم الذكاء الاصطناعي في منتج SaaS دون أن تفقد السيطرة

لا أقول لك تخلَّ عن الذكاء الاصطناعي. أنا أعمل به كل يوم، وأعتقد أن الشركة التي تتجاهله ستتخلف عن الركب. الفكرة هي أن تصمم الاستخدام بشكل صحيح. عمليًا، هذا ما أبنيه عادة:

دع الذكاء الاصطناعي يُظهر شكّه. بدلًا من "عاجل" أو "غير عاجل" فقط، اطلب مستوى ثقة. كل ما هو تحت حد معين يذهب إلى مراجعة بشرية. هذا يقلل حجم المراجعة ويركّز على ما يهم.

ضع فرملة في النقاط المكلفة. الحظر، الاسترداد، الوعود التجارية، تغيير الخطة. في هذه النقاط يُحضّر الذكاء الاصطناعي كل شيء، ويضغط الإنسان على الزر. يستغرق ذلك 20 ثانية. ويوفّر أسابيع من الصداع.

راجع بالعينات، حتى عندما يبدو كل شيء بخير. اختر 20 حالة عشوائية كل أسبوع وراجعها. إنها الطريقة الوحيدة لتلاحظ تراجع الجودة قبل أن يلاحظه العميل.

سجّل من وافق. يبدو هذا بيروقراطية. ليس كذلك. عندما يكون بجانب كل قرار اسم، يعود الناس إلى قراءة ما يوافقون عليه. من الغريب كم ينجح هذا.

حدّد ما يمكن لروبوت المحادثة أن يَعِد به. السعر، والمدة، والخصم، وسياسة الإلغاء يجب أن تأتي من مصدر ثابت، لا من إبداع النموذج. الذكاء الاصطناعي المبدع رائع لمسودة منشور. أما لجدول الأسعار، ففضّل أكثر ذكاء اصطناعي مملّ ممكن.

تكلفة ألّا تفعل شيئًا

إجابة أسمعها كثيرًا: "لكن حتى الآن لم تحدث مشكلة". هذا بالضبط ما يجعل انحياز الأتمتة خطيرًا. إنه لا يعطي إشارة. النظام يعمل، ويعمل، ويعمل. واليوم الذي يفشل فيه هو اليوم الذي لم يكن فيه أحد ينظر، لأن الجميع تعلّم أنه لا حاجة للنظر.

لا تحتاج إلى لجنة أخلاقيات للذكاء الاصطناعي، ولا إلى استشارة مدتها ستة أشهر. تحتاج إلى بضعة أسئلة تطرحها قبل تشغيل الأتمتة: أين تخطئ، وكم يكلّف هذا الخطأ، ومن يراجع. هذا يكفيه اجتماع مدته ساعة واحدة.

إذا كان لديك ذكاء اصطناعي يعمل بالفعل في منتجك أو في عملياتك، ولا تستطيع أن تحدد أين نقاط الفرملة هذه، فالأمر يستحق التوقف ورسم الخريطة. هذا نوع العمل الذي أقوم به مع الشركات التي تريد الأتمتة دون أن تصبح رهينة للنظام. إذا أردت أن تفهم كيف أعمل، ألقِ نظرة على من أنا.

اعترف البنتاغون بأن الثقة المفرطة في الذكاء الاصطناعي ساهمت في هجوم أصاب مدرسة في إيران.

لن أتحدث عن الجغرافيا السياسية. ما يهمني هو الآلية، لأنها نفسها التي أراها في الشركات كل يوم: الذكاء الاصطناعي يصيب 50 مرة، وفي المرة الـ51 لا أحد يراجع.

الذكاء الاصطناعي يخطئ بالثقة نفسها التي يصيب بها. وعبارة "النظام هو من اقترح" لا تُسقط المسؤولية عن أحد.

إذا كانت دقته 97% على 2,000 عنصر شهريًا، فهذا يعني 60 خطأ. السؤال هو: أيّها مكلف، ومن يراقبها؟

قاعدتي: إذا كان الخطأ قابلًا للتراجع وداخليًا، يعمل الذكاء الاصطناعي وحده. وإذا كان صعب التراجع أو يصل إلى العميل، يقترح الذكاء الاصطناعي ويقرر إنسان.

كتبت عن كيفية وضع نقاط الفرملة هذه في منتج SaaS الخاص بك دون خسارة مكاسب الأتمتة. الرابط في التعليقات.

#الذكاء_الاصطناعي #SaaS #الأتمتة #إدارة_المخاطر #التكنولوجيا