وكلاء ذكاء اصطناعي بلا ضوابط: درس قضية RubyGems

تخيّل أنك تفتح سجل نظامك صباح الإثنين وترى مئات الإجراءات نُفّذت عند الساعة 3:14 فجرًا. إجراءات سليمة، بتسجيل دخول سليم، نفّذها طرف ليس بشرًا. هذا تقريبًا ما رواه فريق RubyGems، ولهذا صار وكلاء الذكاء الاصطناعي شأن أصحاب الشركات، لا المبرمجين وحدهم.

إذا لم تسمع بـRubyGems من قبل، لا بأس. سأشرحها في جملة واحدة: هي المستودع الذي تُحفظ فيه قطع الشيفرة الجاهزة التي تعتمد عليها آلاف الأنظمة حول العالم لتعمل. إذا أصاب المستودع سعال، يُصاب كثيرون بالزكام.

ما الذي حدث، بلغة بسيطة

موقع اسمه rubyhack.ai نشر اتهامًا بأن وكلاء آليين مرتبطين بـOpenAI تصرّفوا داخل بنية RubyGems التحتية دون إشعار ودون إفصاح. أي: برمجيات ذاتية التصرف تفعل أشياء داخل بنية حرجة تخصّ طرفًا آخر، والمجتمع يكتشف الأمر لاحقًا.

التفاصيل ما زالت محل خلاف. كل طرف يروي القصة بطريقته، ولن أدّعي أنني أعرف بالضبط ما جرى هناك. لكن جوهر القصة لا يتوقف على الرواية التي تصدّقها. الجوهر هو: وكيل ذكاء اصطناعي امتلك وصولًا يكفي للتصرف، فتصرّف، والاكتشاف جاء من الأثر، لا من الإشعار.

هذا النمط ليس حكرًا على RubyGems. إنه في طريقه إلى شركتك هذا العام، إن لم يكن قد وصل.

لماذا تعنيك المسألة حتى بلا مبرمج في فريقك

على الأرجح لديك وكلاء يعملون بالفعل ولا تسمّيهم بهذا الاسم.

المساعد الذي يقرأ رسائل قسم المبيعات ويرد على طلبات التسعير. البوت الذي يحدّث الـCRM وحده. الأتمتة التي تُنشئ فاتورة في المالية عند توقيع العقد. إضافة الذكاء الاصطناعي التي ثبّتها أحد أفراد الفريق في المتصفح ومنحها وصولًا إلى Google Drive الخاص بالشركة كلها، لأنها "كانت فقط لترتيب بعض جداول البيانات".

الفرق بين الأتمتة التقليدية ووكيل الذكاء الاصطناعي كبير، وقليلون توقفوا للتفكير فيه.

الأتمتة التقليدية تفعل ما أمرتها به. الشيء نفسه دائمًا، بالخطوة نفسها دائمًا. وإذا تعطّلت، تتعطّل بالطريقة نفسها كل يوم، وأنت تصلحها.

وكيل الذكاء الاصطناعي يقرر الطريق. أنت تعطيه الهدف، وهو يختار الوسيلة. وعندها، حسب فهمه للطلب، قد يشمل الطريق الحذف أو الكتابة فوق البيانات أو الإرسال أو التسجيل أو الشراء. كل ذلك ببيانات اعتمادك، أي: كل ذلك باسمك أنت.

وكيل الذكاء الاصطناعي ليس موظفًا جديدًا. إنه توكيل موقّع على بياض.

الخطأ الكلاسيكي: منح صلاحيات المالك توفيرًا للوقت

أرى هذا كل أسبوع. أحدهم يربط أداة ذكاء اصطناعي بنظام الشركة، وعند اختيار الصلاحيات، يؤشّر على كل شيء. السبب؟ عدم التأشير على كل شيء يتطلب جهدًا. عليك أن تكتشف ما تحتاجه الأداة فعلًا، وتختبر، وتصحّح. التأشير على كل شيء يستغرق ثانيتين ويعمل من أول مرة.

يعمل من أول مرة ويفشل فشلًا ذريعًا في المرة المئة.

حالة حقيقية رواها لي أحدهم (مع تغيير التفاصيل حفاظًا على الشركة): وكيل مربوط ببريد المبيعات للرد على العملاء المحتملين الباردين. التعليمات كانت "أعد التواصل مع من لم يرد". وقاعدة "من لم يرد" كانت تضم عملاء قدامى أنهوا تعاقدهم بطريقة غير ودّية إطلاقًا. الوكيل أعاد التواصل مع الجميع. خلال يومين. وبنبرة لطيفة.

لم يخترق أحد شيئًا. لم يتعطّل أي نظام. الأداة فعلت بالضبط ما طُلب منها، والضرر كان في العلاقات، وهو أغلى أنواع الضرر إصلاحًا.

المشكلة لم تكن في الذكاء الاصطناعي. المشكلة أن أحدًا لم يحدد حدود ما يمكنه الوصول إليه.

ثلاثة أسئلة قبل تشغيل أي وكيل

لا تحتاج إلى لجنة أمنية ولا إلى استشارة بستة أرقام. تحتاج إلى ثلاثة أسئلة مُجابة كتابةً قبل الضغط على "اتصال".

1. إلى أين يستطيع هذا الوكيل الوصول؟

ليس ما سيفعله. بل ما يستطيع فعله. إذا كان الجواب "حساب Google Workspace بالكامل"، فأنت لا تملك وكيلًا، بل شريكًا.

اقطع عند الحد الأدنى. وصول إلى المجلد المهم فقط. إلى الجدول المهم فقط. للقراءة فقط، حين تكفي القراءة. إعداده مزعج لمرة واحدة، ويوفّر عليك ليلة بلا نوم لاحقًا.

2. أين يُحفظ الأثر؟

كل وكيل يجب أن يترك سجلًا: ماذا فعل، ومتى، وبأي مدخل وأي مخرج. إذا كانت الأداة التي تعاقدت معها لا تُظهر ذلك، فهي ليست جاهزة للمساس بعملك. نقطة.

في قضية RubyGems، ما سمح بوجود النقاش أصلًا كان الأثر نفسه. بلا سجل، لما وجد أحد ما يشتكي منه.

3. ما الذي يتطلب تأكيدًا بشريًا؟

حدّد الخط. كل ما لا يمكن التراجع عنه أو يخرج من الشركة يمرّ عبر إنسان. إرسال بريد إلى عميل، حذف سجل، تنفيذ دفعة، نشر شيء، تعديل سعر. الوكيل يجهّز، والشخص يوافق. يستغرق خمس ثوانٍ ويُلغي فئة كاملة من الكوارث.

ما تبقّى، دعه يعمل وحده. القراءة، التصنيف، الترتيب، التلخيص، تعبئة المسودات. هنا يكمن التوفير الحقيقي في الوقت، وهذا هو الجزء الذي لا يؤذي أحدًا حين يخطئ.

"ألا يقتل هذا الإنتاجية؟"

هذا الاعتراض يظهر دائمًا، وهو اعتراض منصف. إذا كان عليّ أن أوافق على كل شيء، فما فائدة الأتمتة؟

فائدتها كبيرة. لكن المكسب ليس في النقرة الأخيرة. المكسب في الأربعين دقيقة من القراءة والبحث والكتابة التي سبقتها.

فكّر في عرض السعر. العمل ليس في الضغط على "إرسال". العمل هو فتح سجل العميل، ومراجعة سعر القائمة، والتحقق من وجود خصم ساري، وكتابة النص، والمراجعة. الوكيل يسلّمك ذلك جاهزًا في خمس عشرة ثانية. أنت تقرأ، تعدّل سطرًا، وترسل.

وفّرت تسعًا وثلاثين دقيقة وبقيت أنت من قرر الإرسال. هذه ليست فرامل، بل مقود.

وهناك أثر جانبي جيد: حين يراجع الإنسان، يلاحظ بسرعة متى يبدأ الوكيل في تكرار خطأ ما. الوكيل بلا مراجعة يخطئ في صمت لأسابيع.

كيف أبني هذا عمليًا

حين أدخل شركة لبناء أتمتة بالذكاء الاصطناعي، الترتيب واحد دائمًا.

• أرسم العملية أولًا، دون الحديث عن الأدوات. إذا كانت العملية فوضوية، فالذكاء الاصطناعي سيؤتمت الفوضى بسرعة عالية.
• أختار نقطة ألم واحدة ذات حجم كبير ومخاطرة منخفضة. فرز البريد، ترتيب المستندات، النسخة الأولى من العرض. لا أبدأ أبدًا بالمدفوعات.
• أُنشئ حسابًا منفصلًا للوكيل، بأدنى صلاحية. لا أستخدم حساب المالك أبدًا. وإذا ساءت الأمور، أُلغي بيان اعتماد واحد ولا تشعر بقية الشركة بشيء.
• أشغّل السجل من اليوم الأول وأراقبه طوال الأسبوع الأول.
• وبعد ذلك فقط أوسّع النطاق، خطوة واحدة في كل مرة.

لا شيء معقّد هنا. إنه الحذر نفسه الذي ستمارسه عند توظيف شخص جديد ومنحه مفتاح المحل في أول يوم. لا أحد يفعل ذلك مع البشر. ولسبب ما، الجميع يفعله مع البرمجيات.

الخلاصة الباقية

قضية RubyGems ستُوضَّح، أو تُنفى، أو تتحول إلى هامش صغير. هذا لا يهم كثيرًا. المهم أن وكلاء الذكاء الاصطناعي يتصرفون بالفعل داخل أنظمة حقيقية، بصلاحيات حقيقية، وأن السؤال لم يعد "هل يستحق الاستخدام" بل "بأي طوق".

استخدام وكيل ذكاء اصطناعي دون تحديد حدود ليس جرأة. إنه تفويض القرار لنظام لن يرد على الهاتف حين يتصل العميل غاضبًا.

إذا أردت أن تُشغّل الذكاء الاصطناعي في نشاطك دون التنازل عن التحكم، أساعدك في رسم هذا الإطار: ماذا نؤتمت، بأي صلاحية، وأين يدخل الإنسان. شاهد كيف أعمل وتواصل معي.

اكتشفوا مئات الإجراءات نُفّذت عند الساعة 3:14 فجرًا. تسجيل دخول سليم. لكن الفاعل لم يكن بشرًا.

هذا ما رواه فريق RubyGems عن وكلاء ذكاء اصطناعي يعملون داخل بنيتهم التحتية. والمشكلة ليست حكرًا على من يكتب الشيفرة.

على الأرجح لديك وكلاء في شركتك ولا تسمّيهم بهذا الاسم. البوت الذي يرد على طلبات التسعير. الأتمتة التي تعدّل في الـCRM. إضافة الذكاء الاصطناعي التي تملك وصولًا إلى الـDrive بالكامل لأنها "كانت فقط لترتيب جداول البيانات".

الأتمتة التقليدية تفعل ما أمرتها به. وكيل الذكاء الاصطناعي يختار الطريق. والطريق قد يشمل الحذف أو الإرسال أو التحصيل، دائمًا ببياناتك وباسمك أنت.

وكيل الذكاء الاصطناعي ليس موظفًا جديدًا. إنه توكيل موقّع على بياض.

قبل تشغيل أي وكيل: إلى أين يصل، أين يُحفظ السجل، وما الذي يتطلب موافقة إنسان.

إذا أردت ذكاءً اصطناعيًا يعمل في نشاطك دون أن تتنازل عن التحكم، تواصل معي. نرسم هذا الإطار معًا.

#الذكاء_الاصطناعي #أتمتة_العمليات #إدارة_المخاطر #التحول_الرقمي #أمن_المعلومات