وكلاء الذكاء الاصطناعي في الكود: حين يفتح الإصلاح الباب
وافقت على إصلاح لأن النظام قال إنه يحل مشكلة أمنية. بعد أسابيع، تكتشف أن هذا الإصلاح بالذات هو ما ترك الباب مفتوحًا. هذا تقريبًا ما حدث مع Snowflake. والقصة صورة ممتازة لكيف يغيّر وكلاء الذكاء الاصطناعي طريقة عمل الشركات، في الخير وفي الشر.
لا تحتاج أن تكون مبرمجًا لتفهم. أعدك.
ماذا حدث في حالة Snowflake
Snowflake شركة بيانات عملاقة. لديها فريق أمن، وإجراءات، وتدقيق. ليست ابن الأخ الذي يصمم الموقع في عطلة نهاية الأسبوع.
الشركة تستخدم GitHub لحفظ الكود. وفي GitHub أداة اسمها Copilot Autofix. الذكاء الاصطناعي يجد مشكلة في الكود ويقترح الإصلاح جاهزًا. شخص من الفريق يلقي نظرة، يضغط "موافقة"، وانتهى.
باحثون من Wiz، وهي شركة أمن، شغّلوا وكيلًا خاصًا بهم لاصطياد الثغرات. ووجد شيئًا غريبًا. أحد هذه الإصلاحات التي صنعها الذكاء الاصطناعي، في الجزء الذي يؤتمت اختبار الكود ونشره، خلق ثغرة جديدة. عبر هذا الطريق، كان بإمكان شخص من الخارج أن يجعل نظام الشركة ينفّذ أوامر ويصل إلى بيانات اعتماد داخلية. وبها، كان يمكن العبث بـ Jira الخاص بـ Snowflake، الأداة التي ينظّم فيها الفريق المهام والأخطاء والمشاريع.
تم الإبلاغ عن الثغرة وإصلاحها. لم يخرج أحد بالخزنة. لكن الرسالة وصلت.
لاحظ المفارقة. استُدعي الذكاء الاصطناعي ليسدّ ثغرة. سدّ واحدة وفتح أخرى، في مكان أكثر حساسية. ووافق عليها إنسان، لأنها بدت صحيحة.
لماذا يهمك هذا حتى لو لم يكن لديك فريق تقنية
ربما تفكر الآن: "يا Diego، عندي عيادة. متجر. شركة من 15 شخصًا. لا أستخدم GitHub."
معك حق. لكن غيّر الأسماء وستجد القصة نفسها:
- وكيل الذكاء الاصطناعي الذي يرد على العملاء في واتساب ولديه وصول إلى نظام الطلبات.
- الأتمتة التي تقرأ البريد الإلكتروني وتسجّل الفواتير في الحسابات.
- المساعد الذي "ينظّم" جدول عملائك ولديه صلاحية حذف الصفوف.
في كل هذه الحالات، لديك ذكاء اصطناعي يتصرّف، لا يكتفي بالحديث. وكل ذكاء اصطناعي يتصرّف يحمل مفتاحًا في يده. والسؤال هو: أي أبواب يفتح هذا المفتاح؟
في حالة Snowflake، كان المفتاح يفتح أبوابًا أكثر مما ينبغي. ولم ينتبه أحد حتى جاء شخص من الخارج وجرّب.
وكلاء الذكاء الاصطناعي يخطئون بطريقة مختلفة عن البشر
الموظف الجديد الذي لا يعرف كيف يفعل شيئًا يتردد عادة. يسأل. يتأخر. تظهر الحيرة على وجهه.
الذكاء الاصطناعي لا تظهر عليه الحيرة. يسلّمك إجابة نظيفة، منسّقة جيدًا، بنبرة واثقة. حتى عندما يكون مخطئًا.
وهذا يغيّر نفسية من يراجع. حين يأتي الإصلاح من أداة تحمل ختم شركة كبيرة، ومعه وسم "إصلاح أمني"، يميل الإنسان إلى الثقة. تقرأ بسرعة، ترى أن الكلام منطقي، وتوافق. أنا فعلت ذلك من قبل. وأنت غالبًا فعلته أيضًا، مع عقد أو عرض سعر أو تقرير.
الذكاء الاصطناعي لا يخطئ بوجه الخطأ. إنه يخطئ بوجه الحل.
هذا هو الجزء الخطير. ليس لأن الذكاء الاصطناعي غبي. بل لأنه مقنع، ونحن نسترخي أمام ما هو مقنع.
المشكلة ليست في الذكاء الاصطناعي، بل في الصلاحيات
إليك رأيي بصراحة: معظم الكوارث مع وكلاء الذكاء الاصطناعي لن يكون سببها الذكاء الاصطناعي. سيكون سببها من منحه صلاحيات أكثر من اللازم.
فكّر بهذه الطريقة. إن وظّفت متدربًا لترتيب المخزن، فلن تعطيه كلمة سر البنك معها. ليس لأنه غير أمين. بل لأنه لا يحتاجها لترتيب المخزن.
مع الذكاء الاصطناعي، نفعل العكس طوال الوقت. نربط الوكيل بحساب Google الرئيسي. نعطيه صلاحيات المدير في النظام لأن "الإعداد أسهل هكذا". نستخدم كلمة السر نفسها لكل شيء لأن الربط طلب واحدة وتلك كانت في متناول اليد.
في حالة Snowflake، كانت المشكلة الأساسية هذه بالضبط: عملية آلية تعمل بقوة أكبر مما تحتاج، في مكان يستطيع فيه غريب أن يؤثر على ما تفعله. الذكاء الاصطناعي فقط مهّد الطريق.
كيف تستخدم وكلاء الذكاء الاصطناعي دون تعريض شركتك للخطر
لا أقول لك اهرب من الذكاء الاصطناعي. أنا أبني وكلاء للعملاء كل أسبوع. وهم يوفّرون ساعات حقيقية. عيادة عملت معها توقفت عن خسارة المواعيد خارج أوقات الدوام. مكتب قلّص وقت فرز البريد إلى النصف.
لكن هناك قواعد أتبعها دائمًا. بسيطة، وتصلح لأي حجم من الشركات.
1. أقل صلاحيات ممكنة. الوكيل يرى فقط ما يحتاجه لإنجاز المهمة. روبوت خدمة العملاء يطّلع على المواعيد. لا يحتاج أن يرى الإيرادات.
2. افصل القراءة عن التنفيذ. أن تسمح للذكاء الاصطناعي بالقراءة شيء. وأن تسمح له بالحذف أو الدفع أو الإرسال أو النشر شيء آخر. الإجراءات التي لا رجعة فيها تمرّ على إنسان.
3. الموافقة عمل، لا نقرة. إن كان أحد في الفريق يوافق على ما يقترحه الذكاء الاصطناعي، فيجب أن يعرف على ماذا يوافق. إن لم يفهم، فالموافقة مسرحية. الأفضل ألا يوجد الزر أصلًا.
4. بيانات اعتماد خاصة لكل أتمتة. لا تستخدم كلمة سرك الشخصية في الربط. لكل وكيل مفتاحه الخاص، يمكنك إلغاؤه في دقيقة إن حدث خطأ.
5. سجّل كل شيء. كل إجراء يقوم به الوكيل يُسجَّل: ماذا فعل، ومتى، وبناءً على ماذا. حين تقع مشكلة، وستقع يومًا ما، تكتشفها في دقائق، لا في أسابيع.
لا تحتاج أي من هذه القواعد إلى أداة غالية. تحتاج فقط أن يفكر أحد فيها قبل تشغيل الوكيل، لا بعد المفاجأة.
وماذا لو كان لدي وكلاء يعملون بالفعل؟
قم باختبار سريع. خذ كل أتمتة أو مساعد تستخدمه اليوم وأجب عن ثلاثة أسئلة:
- ما الحسابات والأنظمة التي يصل إليها؟
- ماذا يستطيع أن يفعل وحده، دون موافقة أحد؟
- لو فعل غدًا أسوأ شيء ممكن بهذه الصلاحيات، فما حجم الضرر؟
إن شعرت بقبضة في معدتك عند السؤال الثالث، فقد وجدت النقطة التي تحتاج إلى تعديل. في أغلب الأحيان، يكون الحل إزالة صلاحيات لم تُستخدم أبدًا. الأمر يأخذ فترة بعد الظهر.
تفصيل مهم: اكتشاف الثغرة في Snowflake نفسه تم بواسطة وكيل ذكاء اصطناعي، لكن من جهة الدفاع. أي أن التقنية نفسها التي صنعت الثغرة ساعدت في العثور عليها. اللعبة ليست "ذكاء اصطناعي أم لا". اللعبة هي من يستخدمه، وبأي قدر من الحذر، ومن يراقب.
الدرس الذي أخرج به
إن كانت شركة بحجم Snowflake، ولديها فريق أمن متخصص، قد فاتتها ثغرة صنعها إصلاح آلي، فشركتك أيضًا قد تفوتها. هذا ليس سببًا للذعر. إنه سبب لتعامل وكيل الذكاء الاصطناعي كما تعامل موظفًا جديدًا لديه وصول إلى النظام: بثقة، لكن بحدود واضحة.
الذكاء الاصطناعي سيستمر في التطور. والوكلاء سيفعلون أشياء أكثر وحدهم. والرابح من هذا سيكون من بنى البيت بشكل صحيح من البداية، لا من راح يربط كل شيء بكل شيء ليرى ما سيحدث. تنبيه: عادة ما ينتهي الأمر باتصال يائس يوم الجمعة في السادسة مساءً.
إن أردت أن تضع وكلاء الذكاء الاصطناعي في خدمة عملك، لكن بواقعية والأبواب مقفلة، يمكنني مساعدتك في تصميم ذلك معًا. تعرّف على عملي ولنتحدث.
ملخّص لـ LinkedIn
الذكاء الاصطناعي لا يخطئ بوجه الخطأ. إنه يخطئ بوجه الحل. في Snowflake، وافق أحد أعضاء الفريق على إصلاح أمني صنعه الذكاء الاصطناعي. وانتهى الأمر بفتح ثغرة جديدة، تسمح بالوصول إلى بيانات اعتماد داخلية. المشكلة لم تكن في الذكاء الاصطناعي. كانت في منحه صلاحيات أكثر من اللازم، والموافقة دون فهم ما تتم الموافقة عليه. إن كان لديك وكيل على واتساب، أو في الحسابات، أو في جدول عملائك، فاسأل نفسك: لو فعل غدًا أسوأ شيء ممكن بهذه الصلاحيات، فما حجم الضرر؟ أقل صلاحيات ممكنة، وإنسان يراجع كل إجراء لا رجعة فيه، وسجلّ لكل شيء. الأمر ليس مكلفًا، فقط يتطلب التفكير قبل وقوع المفاجأة. كتبت عن هذا في المدونة. إن أردت تشغيل وكلاء يعملون لك والأبواب مقفلة، فلنتحدث. #الذكاء_الاصطناعي #وكلاء_الذكاء_الاصطناعي #أمن_المعلومات #الأتمتة #الأعمال