وكلاء الذكاء الاصطناعي: حين يتحول الإصلاح التلقائي إلى باب خلفي

وجد الروبوت مشكلة في الكود، واقترح الإصلاح، وضغط أحدهم على "قبول"، ففتح الإصلاح ثغرة أكبر من المشكلة الأصلية. هذه ليست فرضية. حدثت مع Snowflake، شركة بيانات تساوي المليارات ولديها فريق أمني حقيقي. أظهر باحثون من Wiz أن اقتراح إصلاح تلقائي ولّده الذكاء الاصطناعي، وقُبل داخل تدفق الأتمتة في الشركة، صار طريقاً للوصول إلى Jira الداخلي. هذه هي النقطة العمياء في وكلاء الذكاء الاصطناعي التي لا ينظر إليها أحد تقريباً: نحن ندقق فيما يكتبه الذكاء الاصطناعي من الصفر، لكننا نثق بلا تفكير فيما "يصلحه".

إن كنت صاحب نشاط تجاري وتظن أن هذا كلام مبرمجين، تمهّل قليلاً. Jira هو المكان الذي تحفظ فيه الشركة ما هو معطّل، وما سيُطلق، ومن اشتكى من ماذا. إنه دفتر يوميات العمليات. من يقرأه من الخارج يعرف عن نشاطك أكثر من نصف فريقك.

ماذا حدث بالضبط

خلاصة بلغة بسيطة. هناك ميزة في GitHub اسمها autofix، تستخدم الذكاء الاصطناعي لقراءة تنبيه أمني واقتراح الرقعة. فكرة ممتازة على الورق: الآلة تجد، والآلة تصلح، وأنت توافق. المشكلة فيما يحدث بعد "الموافقة".

في هذه الحالة، دُمج الكود الذي ولّده الذكاء الاصطناعي في التدفق التلقائي الذي يعمل في كل مرة يلمس فيها أحد الكود. هذا التدفق كان يملك صلاحيات واسعة ووصولاً إلى بيانات اعتماد تفتح أنظمة أخرى. تمكن باحث من التلاعب بالعملية، وفي نهاية السلسلة وصل إلى Jira الخاص بالشركة.

انتبه للتسلسل، فهو قلب القصة:

• الذكاء الاصطناعي ولّد كوداً.
• مرّ الكود بمراجعة كانت عملياً مجرد ختم.
• عمل هذا الكود داخل بيئة تحمل مفاتيح قوية.
• لم يسأل أحد "وإن كان هذا الإصلاح خاطئاً، إلى أين يصل؟".

كل خطوة على حدة تبدو معقولة. مجتمعة تصير مشكلة. ولاحظ أن Snowflake أدت الجزء الصعب بشكل صحيح: استلمت البلاغ، وصححت بسرعة، ونشرت. أغلب الشركات لم تكن لتكتشف أصلاً.

لماذا "الإصلاح" أخطر من "الإنشاء"

حين تطلب من الذكاء الاصطناعي كتابة ميزة جديدة، يشتغل دماغك في وضع الشك. تقرأ، وتختبر، وتسأل. أما حين يصحح خطأً أشار إليه هو نفسه، يحدث شيء غريب: التنبيه يأتي بمظهر السلطة. "عُثر على ثغرة. الإصلاح المقترح." يبدو مثل مضاد فيروسات. فتقبل.

لكن النموذج لا يفهم نشاطك. هو يفهم أنماط الكود. رأى عشرة آلاف إصلاح مشابه وأنتج الإصلاح رقم عشرة آلاف وواحد. لا فكرة لديه إن كان ذلك الملف بالتحديد يعمل بصلاحية مدير، أو إن كان ذلك الرمز يفتح قاعدة بيانات العملاء.

الذكاء الاصطناعي لا يخطئ من الغباء. يخطئ لأنه لا يعرف أين يضع قدمه.

في 2025 و2026 ساء الأمر لسبب بسيط: ارتفع الحجم بشكل هائل. فريق كان يراجع عشرين تعديلاً في الأسبوع صار يستقبل مئتين. متوسط الجودة ارتفع فعلاً. أما الانتباه البشري لكل تعديل فقد انهار. هذه هي الحسبة التي لم يعملها أحد.

ما علاقة هذا بشركتك

على الأرجح ليس لديك CI/CD بعشرة آلاف تشغيل يومياً. لكن إن كنت تستخدم وكلاء ذكاء اصطناعي في أي مكان من نشاطك، فالنمط مطابق. بعض الحالات التي أراها عملياً:

وكيل يرد على العملاء. ربطت البوت بنظام الطلبات ليستعلم عن الحالة. ممتاز. لكن بأي صلاحية يستعلم؟ إن كان يستطيع قراءة طلب أي رقم هوية، فسيكتشف عميل ذكي ذلك خلال عشرين دقيقة من المحادثة.

أتمتة تتعامل مع جدول بيانات أو ERP. الوكيل لديه صلاحية كتابة "لتسهيل الأمور". وفي يوم ما يسيء تفسير طلب فيحذف عموداً. لا نية سيئة، مجرد خطأ. لكن الضرر حقيقي.

تكامل مع البريد الإلكتروني. الوكيل يقرأ صندوق الوارد لفرز الرسائل. أي شخص في العالم يستطيع مراسلتك. أي أن أي شخص في العالم يستطيع إدخال نص داخل وكيلك. وإن كان لديه صلاحية الرد وإرسال المرفقات، فقد أعطيت للتو مكبر صوت لغريب.

القاسم المشترك ليس الذكاء الاصطناعي. إنه الصلاحية. الذكاء الاصطناعي زاد فقط سرعة تحوّل صلاحية سيئة الإعداد إلى مشكلة.

ثلاثة أسئلة قبل تشغيل أي وكيل

هذه ليست قائمة تدقيق أمني مؤسسي. هذا الحد الأدنى الذي أفعله في أي أتمتة أسلّمها، ويستغرق خمس عشرة دقيقة.

1. لو انفلت هذا الوكيل، ما أسوأ ضرر ممكن؟ اكتب الإجابة. حرفياً. إن كانت الإجابة "يرسل بريداً خاطئاً"، فاسترخِ. وإن كانت "يمسح قاعدة العملاء" أو "يحوّل أموالاً"، فأنت تحتاج إلى مكبح قبل المتابعة.

2. هل يحتاج فعلاً إلى الكتابة أم القراءة تكفي؟ تسعون بالمئة من الوكلاء الذين أراهم في الشركات الصغيرة والمتوسطة يحتاجون القراءة فقط. الاستعلام والتلخيص والتنبيه. من يكتب هو إنسان، بعد أن ينظر. استبدال الكتابة بالقراءة يزيل معظم المخاطر دون أن ينقص القيمة تقريباً.

3. حين يخطئ، هل تعلم بذلك؟ ليست "إن أخطأ". بل "حين يخطئ". إن أخطأ الوكيل ولم يصل تنبيه لأحد، فستكتشف الأمر من شكوى عميل. أو الأسوأ، لن تكتشفه أبداً.

من يوافق يجب أن يكون إنساناً حقيقياً

إليك رأيي غير الشعبي: المراجعة الآلية بختم بشري أسوأ من غياب المراجعة تماماً. لأنها تنتج شعوراً بالأمان بلا أمان.

إن كانت عمليتك هي "الذكاء الاصطناعي يقترح، وفلان يوافق"، وفلان يوافق على أربعين أمراً يومياً بثلاث دقائق لكل واحد، فأنت لا تملك موافقة. تملك مسرحية. والمسرحية باهظة الثمن: لحظة وقوع الكارثة سيشير الجميع إلى فلان، الذي لم تُتح له أصلاً فرصة مراجعة حقيقية.

الطريقة الصحيحة هي فصل ما يحتاج عيناً بشرية عما لا يحتاجها. تصحيح نص في تذييل الصفحة؟ تلقائي، أكمل طريقك. أي شيء يمس بيانات اعتماد أو صلاحية أو دفعاً أو بيانات عميل؟ يقف في الطابور وينتظر شخصاً لديه وقت للتفكير. أشياء أقل في الطابور تعني انتباهاً أكبر لكل واحدة.

عملياً، يتحول هذا عادة إلى قاعدة بسيطة من سطرين أو ثلاثة في أتمتتك. ليس مشروع ستة أشهر.

المواساة: من ضُبط هو من كان ينظر

في قصة Snowflake تفصيل أراه الأهم على الإطلاق، ولا يعلق عليه أحد تقريباً. هذه الثغرة ظهرت فقط لأنه كان هناك برنامج يتيح لباحثين خارجيين الإبلاغ عن الأعطال. ذهب أحدهم، وبحث، ووجد، وأبلغ. صححت الشركة وسمحت بالنشر.

بمعنى آخر: الشركات التي تظهر في هذا النوع من الأخبار هي عادة التي تفعل أكثر من المتوسط، لا أقل. والتي لا تظهر أبداً ليست أكثر أماناً. هي فقط أقل مراقبة.

هذا يجب أن يطمئنك ويزعجك في الوقت نفسه. يطمئنك لأن الخطأ في هذا الموضوع أمر طبيعي، ولا أحد حلّ المسألة. ويزعجك لأنه إن كانت Snowflake بكل عتادها قد فوّتت الأمر، فأتمتتك التي بنيتها على عجل في ثلاث فترات بعد ظهر تحتوي على الأرجح على ما هو أسوأ. ولا أحد يبحث.

لا أقول لك أطفئ وكلاءك. أنا أبني أتمتة بالذكاء الاصطناعي كل يوم ولن أتراجع. المكسب كبير جداً. أقول لك توقف عن التعامل مع "الذكاء الاصطناعي اقترح" وكأنه ضمان جودة. إنه اقتراح. اقتراح جيد جداً، صادر عن شيء لا يعرف أين يضع قدمه.

إن كان لديك وكلاء يعملون في نشاطك ولم تطرح الأسئلة الثلاثة أعلاه يوماً، فنصف ساعة من الحديث تستحق العناء لرسم خريطة لما هو مكشوف. عادة يكون إصلاحه أبسط مما يبدو، وأرخص بكثير الآن مما سيكون لاحقاً. أخبرني بما أتمتّه وننظر فيه معاً.

تعرضت Snowflake لخرق أمني بسبب إصلاح اقترحه الذكاء الاصطناعي ووافق عليه أحدهم دون تدقيق.

التفصيل الذي لفتني: نحن نشكك فيما يكتبه الذكاء الاصطناعي من الصفر، لكننا نقبل بعيون شبه مغمضة ما "يصلحه". تنبيه الثغرة يبدو وكأنه صادر عن جهة موثوقة، وهذا المظهر يعطّل الحس النقدي.

المشكلة لم تكن يوماً في الذكاء الاصطناعي. المشكلة في الصلاحية التي مُنحت له.

ثلاثة أسئلة أطرحها قبل تشغيل أي وكيل: لو انفلت، ما أسوأ ضرر ممكن؟ هل يحتاج فعلاً إلى الكتابة أم القراءة تكفي؟ وحين يخطئ، هل يعلم أحد بذلك؟

المراجعة الآلية بختم بشري أسوأ من غياب المراجعة، لأنها تصنع شعوراً بالأمان بلا أمان.

إن كان لديك وكيل يعمل في نشاطك ولم تطرح هذه الأسئلة يوماً، أخبرني بما أتمتّه. ننظر فيه معاً.

#الذكاء_الاصطناعي #وكلاء_الذكاء_الاصطناعي #الأتمتة #أمن_المعلومات #تقنية