معايير قياس الذكاء الاصطناعي: لماذا لا يحسم الترتيب أي شيء

أرسل أحد أفراد فريقك صورة في المجموعة: "صدر نموذج جديد، وهو في المركز الأول". والآن يدور في رأسك سؤال مزعج: هل صار ما بنيناه الشهر الماضي قديمًا؟

أحدث الأمثلة هو Grok 4.6، الذي سجّل 61 في مؤشر Artificial Analysis Intelligence Index. رقم مرتفع. ونتيجة حقيقية. وبالنسبة لشركتك، على الأرجح لا يغيّر شيئًا. هذه هي مشكلة متابعة معايير الذكاء الاصطناعي كمن يتابع جدول ترتيب الدوري: تعرف من في المقدمة، لكنك لا تعرف إن كان ذلك يحل مشكلتك.

سأشرح لك ما يعنيه هذا الرقم حقًا، وما الذي يخفيه، وما الذي يحسم فعلًا نجاح مشروع ذكاء اصطناعي داخل شركة أو فشله.

ماذا يعني "61" في معيار للذكاء الاصطناعي

مؤشر Artificial Analysis Intelligence Index هو متوسط. يشغّلون النموذج في اختبارات مختلفة (رياضيات، برمجة، استدلال، معرفة علمية، استخدام أدوات) ثم يجمعون كل ذلك في مؤشر من 0 إلى 100.

انتبه للتفصيل: إنه متوسط اختبارات. تمامًا مثل معدل الشهادة المدرسية. طالب بمعدل 8,5 قد يكون ممتازًا في الرياضيات وضعيفًا في التعبير. المتوسط يخفي بالضبط المعلومة التي تحتاجها لتقرر إن كنت ستوظفه لكتابة نصوصك.

وهناك تفصيل آخر لا يذكره أحد تقريبًا: قمة هذه القائمة مزدحمة. أفضل النماذج اليوم متجمعة كلها ضمن نطاق متقارب. الفرق بين الأول والرابع أصغر من الفرق بين مطالبة مكتوبة بعناية ومطالبة كسولة داخل النموذج نفسه.

بمعنى آخر: الترتيب تغيّر، لكن نتيجتك تعتمد على ما تفعله بالأداة أكثر بكثير من اعتمادها على أي أداة تتصدر ذلك الأسبوع.

لماذا يتبدّل متصدر الترتيب كل ستة أسابيع

لأن هذه هي طبيعة المنافسة. xAI وOpenAI وAnthropic وGoogle في سباق لا يستطيع فيه أحد أن يتأخر طويلًا. يصدر نموذج، ويتصدر بضعة أسابيع، ثم يأتي التالي.

إذا حاولت أن تكون دائمًا على النموذج رقم واحد، ستقضي السنة كلها في الترحيل. والترحيل له تكلفة:

• إعادة كتابة المطالبات واختبارها، لأن كل نموذج يستجيب بطريقته
• إعادة التحقق من التكاملات التي كانت تعمل بالفعل
• إعادة تدريب الأشخاص الذين يستخدمون ذلك يوميًا
• اكتشاف الأخطاء الجديدة التي لا تظهر إلا في بيئة الإنتاج

كل هذا لتكسب نقطتين في مؤشر يقيس اختبارات رياضيات. لا يستحق العناء.

تغيير النموذج كلما تغيّر الترتيب يشبه تغيير السيارة كلما صدرت سيارة أسرع. لا تصل إلى أي مكان، بل تظل تبدّل السيارات.

ما لا يقيسه المعيار (وهو ما يحاسبك في نهاية الشهر)

هنا الجزء الذي يهم من يدفع الفاتورة. المؤشر يقيس القدرة الخام. وهو لا يقيس أربعة أمور تحسم نجاح المشروع:

التكلفة لكل مهمة. قد يكون نموذج أذكى بنسبة 3% وأغلى خمس مرات. إذا كنت تعالج 20 ألف مستند شهريًا، تظهر هذه الحسبة سريعًا. وهناك معطى يتجاهله الناس: نماذج الاستدلال "تفكّر" قبل الإجابة، وهذا التفكير محسوب عليك. نموذجان بالسعر نفسه لكل توكن قد تختلف تكلفتهما النهائية كثيرًا لأن أحدهما أكثر ثرثرة.

السرعة. موظف خدمة افتراضي يستغرق 40 ثانية للرد هو موظف تخلّى عنه العميل. في هذه الحالة، النموذج الأصغر والأسرع يتفوق على متصدر الترتيب، في كل مرة.

الاتساق. المعيار يعمل مرة واحدة ويسجل النتيجة. أما شركتك فتشغّل المهمة نفسها 800 مرة يوميًا. ما يهم ليس أفضل نتيجة ممكنة، بل أسوأ نتيجة مقبولة. النموذج الذي يصيب 99% ويخطئ بطريقة متوقعة أثمن من نموذج يصيب 99,4% ويخطئ بطريقة غريبة.

سياقك أنت. لم يختبر أي معيار النموذج مع قائمة أسعارك، وأسلوبك في مخاطبة العميل، وقواعد الخصم لديك. هذا هو عمل التكامل، وهناك يظهر 90% من الفرق.

مثال ملموس

نفّذت أتمتة لفرز البريد الإلكتروني لشركة خدمات. كان يصل نحو 300 رسالة يوميًا إلى البريد التجاري، تختلط فيها طلبات عروض الأسعار، وأسئلة العملاء القدامى، والتحصيل، والرسائل المزعجة. كان شخص يقضي ساعتين يوميًا في فرزها.

اختبرت ثلاثة نماذج. الأغلى والأعلى ترتيبًا أصاب في 96% من الفرز. ونموذج متوسط، أرخص بكثير، أصاب في 94%.

هل تعرف ما كان القرار؟ النموذج المتوسط. لأن فرق الـ2% يعني ست رسائل يوميًا تقع في الفئة الخاطئة، وهذه الرسائل الست كان يراجعها شخص واحد في خمس دقائق. أما فرق التكلفة فكان كبيرًا بما يكفي ليغيّر الحديث حول ميزانية المشروع.

وكان هناك أثر لم يتوقعه أي معيار: المكسب الحقيقي لم يأتِ من النموذج. جاء من إعادة كتابة الفئات. فئات الشركة الأصلية كانت متداخلة، ولم يكن حتى الإنسان قادرًا على الحسم بين "استفسار تقني" و"دعم". بعد أن أصلحت ذلك، تحسّن النموذجان معًا.

عنق الزجاجة كان تعريف المشكلة، لا ذكاء الآلة. وهو كذلك في الغالب.

إذًا متى ينبغي أن أغيّر النموذج؟

ثلاث حالات تبرر العبث بما يعمل بالفعل:

1. تغيّر مستوى المهمة. بدأت بتصنيف الرسائل والآن تريد من الذكاء الاصطناعي صياغة عروض فنية. المهمة المختلفة تستدعي إعادة تقييم، لا متابعة الترتيب.

2. تغيّرت معادلة التكلفة. إذا ظهر خيار يقوم بالعمل نفسه بنصف السعر، فالاختبار يستحق. هذا يحدث كثيرًا، وهو خبر أفضل بكثير من "نموذج جديد يتصدر المؤشر".

3. أنت تصطدم بسقف حقيقي. ليس "شعرت أنه يمكن أن يكون أفضل"، بل: قِسْتَ، وتعرف نسبة الخطأ، وهي أعلى مما يحتمله العمل.

عدا ذلك، اتركه يعمل. البرنامج الذي يعمل ولا يعبث به أحد هو أصل، لا تأخر.

وإذا أردت أن تفعل شيئًا واحدًا فقط بعد هذا المقال، فافعل هذا: جهّز اختبارًا من 50 حالة حقيقية من عملك. حالات حدثت فعلًا، مع تدوين الإجابة الصحيحة. عندما يصدر نموذج جديد، تشغّل الحالات الخمسين وتحصل على إجابة خلال عشرين دقيقة. هذا أثمن من أي مؤشر منشور، لأنه يقيس ما تحتاج أنت إلى قياسه.

ماذا تفعل مع العنوان القادم

في المرة القادمة التي يرسل فيها أحدهم صورة الترتيب في المجموعة، السؤال المفيد ليس "هل ينبغي أن نغيّر؟". بل: "أي مهمة لدينا نتيجتها سيئة اليوم؟".

إن لم تكن هناك أي مهمة، فهذا ممتاز. الترتيب خبر تقني، وليس قرار عمل. وإن كانت هناك مهمة، فأنت كانت لديك مشكلة قبل صدور النموذج الجديد، وربما لا يكون هو الحل أصلًا.

الجزء الصعب في الذكاء الاصطناعي داخل الشركات لم يكن يومًا اختيار النموذج. بل تحديد أي عملية تُؤتمت، وتعريف ما هي الإجابة الصحيحة، ودمج ذلك مع ما هو قائم دون كسر البقية. هذا الجزء لا يظهر في أي معيار.

إذا أردت اكتشاف المكان الذي يساعد فيه الذكاء الاصطناعي فعلًا في عملك، دون تغيير الأداة كل ستة أسابيع، أخبرني بما تفعله ولنبحث الأمر معًا.

"صدر نموذج جديد، وهو في المركز الأول." وماذا الآن، هل نغيّر؟

الجواب في الغالب لا.

نفّذت فرزًا للبريد الإلكتروني لأحد العملاء: النموذج المتصدر في الترتيب أصاب بنسبة 96%. والنموذج المتوسط، الأرخص بكثير، أصاب بنسبة 94%. اخترت المتوسط، لأن رسائل الفرق الست يوميًا كان يحلها شخص واحد في خمس دقائق.

وأكبر مكسب لم يأتِ من أي نموذج. جاء من إعادة كتابة الفئات، التي كانت متداخلة لدرجة أن الإنسان نفسه لم يكن قادرًا على الحسم.

عنق الزجاجة هو تعريف المشكلة في الغالب، لا ذكاء الآلة.

إذا أردت أن نتبادل الأفكار حول المكان الذي يساعد فيه الذكاء الاصطناعي فعلًا في عملك، تواصل معي.

#الذكاء_الاصطناعي #الأتمتة #الذكاء_الاصطناعي_في_الأعمال #التقنية