AI बेंचमार्क: रैंकिंग से कुछ तय नहीं होता

आपकी टीम के किसी व्यक्ति ने ग्रुप में एक स्क्रीनशॉट भेजा: "नया मॉडल आ गया है, पहले नंबर पर है"। और अब आपके दिमाग में एक चुभने वाला सवाल है। क्या जो हमने पिछले महीने बनाया था, वह पहले ही पुराना हो गया?

सबसे ताज़ा मामला Grok 4.6 का है, जिसने Artificial Analysis Intelligence Index में 61 अंक हासिल किए। यह एक ऊँचा नंबर है। यह एक असली नतीजा है। और आपकी कंपनी के लिए, शायद इससे कुछ नहीं बदलता। AI बेंचमार्क को क्रिकेट की पॉइंट्स टेबल की तरह देखने में यही दिक्कत है। आपको पता चल जाता है कि आगे कौन है, पर यह पता नहीं चलता कि वह आपकी समस्या हल करता है या नहीं।

मैं बताता हूँ कि यह नंबर असल में है क्या, यह क्या छिपाता है, और असल में क्या तय करता है कि किसी बिज़नेस के अंदर AI प्रोजेक्ट चलेगा या नहीं।

AI बेंचमार्क में "61" का मतलब क्या है

Artificial Analysis Intelligence Index एक औसत है। वे मॉडल को कई अलग टेस्ट पर चलाते हैं (गणित, कोड, तर्क, वैज्ञानिक ज्ञान, टूल का इस्तेमाल) और सब मिलाकर 0 से 100 का एक इंडेक्स बना देते हैं।

बारीकी पर ध्यान दीजिए। यह परीक्षाओं का औसत है। ठीक स्कूल की मार्कशीट के औसत जैसा। 8.5 औसत वाला छात्र गणित में शानदार और निबंध में कमज़ोर हो सकता है। औसत ठीक वही जानकारी छिपा देता है जो आपको यह तय करने के लिए चाहिए कि उस छात्र से अपने लेख लिखवाएँ या नहीं।

और एक बात है जिस पर लगभग कोई बात नहीं करता। इस लिस्ट का ऊपरी हिस्सा बहुत भीड़ भरा है। आज के सबसे अच्छे मॉडल सब एक जैसी पट्टी में जमा हैं। पहले और चौथे नंबर के बीच का फ़र्क, एक ही मॉडल पर लिखे गए अच्छे प्रॉम्प्ट और आलसी प्रॉम्प्ट के फ़र्क से भी कम है।

यानी रैंकिंग बदल गई, लेकिन आपका नतीजा इस पर कहीं ज़्यादा निर्भर करता है कि आप उस टूल के साथ क्या करते हैं, न कि इस पर कि उस हफ़्ते कौन सा टूल टॉप पर है।

रैंकिंग का लीडर हर छह हफ़्ते में क्यों बदल जाता है

क्योंकि मुक़ाबला ऐसे ही चलता है। xAI, OpenAI, Anthropic और Google एक ऐसी दौड़ में हैं जहाँ कोई भी ज़्यादा देर पीछे नहीं रह सकता। एक मॉडल आता है, कुछ हफ़्ते आगे रहता है, फिर अगला आ जाता है।

अगर आप हमेशा नंबर एक मॉडल पर रहने की कोशिश करेंगे, तो पूरा साल माइग्रेशन में बीत जाएगा। और माइग्रेशन की कीमत होती है:

• प्रॉम्प्ट दोबारा लिखना और टेस्ट करना, क्योंकि हर मॉडल अलग तरह से जवाब देता है
• जो इंटीग्रेशन पहले से चल रहे थे, उन्हें फिर से जाँचना
• जो लोग रोज़ उसका इस्तेमाल करते हैं, उन्हें फिर से ट्रेनिंग देना
• वे नए बग खोजना जो सिर्फ़ प्रोडक्शन में दिखते हैं

और यह सब सिर्फ़ एक ऐसे इंडेक्स में दो पॉइंट पाने के लिए जो गणित की परीक्षाएँ नापता है। यह फ़ायदे का सौदा नहीं है।

रैंकिंग बदलते ही मॉडल बदलना ऐसा है जैसे कोई तेज़ गाड़ी आते ही अपनी गाड़ी बदल देना। आप कहीं पहुँचते ही नहीं, बस गाड़ी बदलते रहते हैं।

बेंचमार्क क्या नहीं नापता (और महीने के अंत में बिल यही बनाता है)

अब वह हिस्सा जो बिल भरने वाले के लिए अहम है। इंडेक्स कच्ची क्षमता नापता है। वह चार चीज़ें नहीं नापता, और वही तय करती हैं कि प्रोजेक्ट सफल होगा या नहीं।

प्रति काम लागत। एक मॉडल 3% ज़्यादा समझदार और 5 गुना ज़्यादा महँगा हो सकता है। अगर आप महीने में 20 हज़ार दस्तावेज़ प्रोसेस करते हैं, तो यह हिसाब जल्दी सामने आ जाता है। और एक बात लोग नज़रअंदाज़ करते हैं। रीज़निंग मॉडल जवाब देने से पहले "सोचते" हैं, और उस सोच का भी पैसा लगता है। एक ही प्रति टोकन कीमत वाले दो मॉडलों की असली लागत काफ़ी अलग हो सकती है, क्योंकि एक दूसरे से ज़्यादा बातूनी होता है।

रफ़्तार। जो वर्चुअल असिस्टेंट जवाब देने में 40 सेकंड लेता है, वह ऐसा असिस्टेंट है जिसे ग्राहक छोड़कर जा चुका है। ऐसे में एक छोटा और तेज़ मॉडल रैंकिंग के चैंपियन को हर बार हरा देता है।

स्थिरता। बेंचमार्क एक बार चलता है और नतीजा लिख लेता है। आपकी कंपनी वही काम दिन में 800 बार चलाती है। जो मायने रखता है वह सबसे अच्छा संभव नतीजा नहीं है, बल्कि सबसे बुरा स्वीकार्य नतीजा है। जो मॉडल 99% सही करता है और गलती भी अंदाज़े लायक तरीके से करता है, वह उस मॉडल से ज़्यादा कीमती है जो 99.4% सही करता है पर गलती अजीब तरीके से करता है।

आपका संदर्भ। किसी भी बेंचमार्क ने उस मॉडल को आपकी प्राइस लिस्ट, ग्राहक से बात करने के आपके तरीके, या आपके डिस्काउंट नियमों के साथ टेस्ट नहीं किया। यह इंटीग्रेशन का काम है, और 90% फ़र्क वहीं दिखता है।

एक ठोस उदाहरण

मैंने एक सर्विस कंपनी के लिए ईमेल छँटाई का ऑटोमेशन बनाया। उनके कमर्शियल इनबॉक्स में रोज़ करीब 300 ईमेल आते थे, जिनमें कोटेशन की माँग, पुराने ग्राहक के सवाल, बिलिंग और स्पैम सब मिले हुए थे। कोई एक व्यक्ति रोज़ दो घंटे उन्हें अलग करने में लगाता था।

मैंने तीन मॉडल टेस्ट किए। सबसे महँगे और रैंकिंग में सबसे ऊपर वाले मॉडल ने 96% छँटाई सही की। एक बीच का मॉडल, जो कहीं ज़्यादा सस्ता था, उसने 94% सही किया।

पता है फ़ैसला क्या हुआ? बीच वाला मॉडल। क्योंकि 2% के फ़र्क का मतलब था रोज़ छह ईमेल गलत कैटेगरी में गिरना, और उन छह ईमेल को एक व्यक्ति पाँच मिनट में ठीक कर देता था। जबकि लागत का फ़र्क इतना बड़ा था कि प्रोजेक्ट के बजट पर पूरी बातचीत बदल जाती।

और एक असर ऐसा हुआ जिसका अंदाज़ा किसी बेंचमार्क ने नहीं लगाया था। असली फ़ायदा मॉडल से आया ही नहीं। वह आया कैटेगरी दोबारा लिखने से। कंपनी की मूल कैटेगरी आपस में इतनी मिली हुई थीं कि इंसान भी "तकनीकी सवाल" और "सपोर्ट" के बीच फ़ैसला नहीं कर पाता था। जब मैंने यह ठीक किया, तो दोनों मॉडल बेहतर हो गए।

अड़चन समस्या की परिभाषा थी, मशीन की समझदारी नहीं। लगभग हमेशा यही होता है।

तो मॉडल कब बदलना चाहिए?

जो चल रहा है उसे छेड़ना तीन हालात में जायज़ है:

1. काम का स्तर बदल गया। आपने ईमेल छाँटने से शुरुआत की थी और अब चाहते हैं कि AI तकनीकी प्रस्ताव लिखे। अलग काम के लिए नई जाँच चाहिए, रैंकिंग नहीं।

2. लागत का गणित बदल गया। अगर कोई ऐसा विकल्प आया जो आधी कीमत में वही काम करता है, तो टेस्ट करना बनता है। ऐसा अक्सर होता है, और यह "नया मॉडल इंडेक्स में आगे" से कहीं बेहतर खबर है।

3. आप किसी असली छत से टकरा रहे हैं। "मुझे लगा कि बेहतर हो सकता है" नहीं, बल्कि यह कि आपने नापा है, आपको एरर रेट पता है, और वह बिज़नेस की सहने की हद से ऊपर है।

इसके अलावा, उसे चलने दीजिए। जो सॉफ़्टवेयर काम करता है और जिसे कोई छेड़ता नहीं, वह एक संपत्ति है, पिछड़ापन नहीं।

और अगर आप यहाँ से सिर्फ़ एक काम करना चाहते हैं, तो यह कीजिए। अपने बिज़नेस के 50 असली मामलों का एक टेस्ट सेट बनाइए। ऐसे मामले जो पहले हो चुके हैं, जिनका सही जवाब लिखा हुआ है। जब कोई नया मॉडल आए, आप वे 50 मामले चलाइए और बीस मिनट में जवाब पा लीजिए। यह किसी भी छपे हुए इंडेक्स से ज़्यादा कीमती है, क्योंकि यह वही नापता है जो आपको नापना चाहिए।

अगली हेडलाइन का क्या करें

अगली बार जब कोई ग्रुप में रैंकिंग का स्क्रीनशॉट भेजे, तो काम का सवाल यह नहीं है कि "क्या हमें बदल देना चाहिए?"। सवाल यह है: "आज हमारा कौन सा काम खराब नतीजे दे रहा है?"।

अगर कोई नहीं है, तो बढ़िया। रैंकिंग टेक्नोलॉजी की खबर है, बिज़नेस का फ़ैसला नहीं। अगर कोई है, तो नया मॉडल आने से पहले भी आपके पास वह समस्या थी, और हो सकता है वह मॉडल उसका हल भी न हो।

कंपनी में AI का मुश्किल हिस्सा कभी मॉडल चुनना नहीं था। मुश्किल था यह तय करना कि किस प्रक्रिया को ऑटोमेट करना है, यह तय करना कि सही जवाब क्या है, और उसे मौजूदा सिस्टम में बिना बाकी सब तोड़े जोड़ना। यह हिस्सा किसी बेंचमार्क में नहीं छपता।

अगर आप जानना चाहते हैं कि आपके बिज़नेस में AI असल में कहाँ मदद करेगा, बिना हर छह हफ़्ते में टूल बदले, तो मुझे बताइए कि आप क्या करते हैं और हम इसे साथ मिलकर देखते हैं।

"नया मॉडल आ गया है, पहले नंबर पर है।" तो क्या हम बदल दें?

जवाब लगभग हमेशा ना होता है।

एक क्लाइंट के लिए मैंने ईमेल छँटाई का काम किया। रैंकिंग वाले चैंपियन मॉडल ने 96% सही किया। बीच का मॉडल, जो कहीं ज़्यादा सस्ता था, उसने 94% सही किया। मैंने बीच वाला चुना, क्योंकि रोज़ के 6 ईमेल का फ़र्क एक इंसान 5 मिनट में संभाल लेता था।

और सबसे बड़ा फ़ायदा किसी मॉडल से आया ही नहीं। वह आया कैटेगरी दोबारा लिखने से, जो इतनी आपस में मिली हुई थीं कि इंसान भी तय नहीं कर पाता था।

अड़चन लगभग हमेशा समस्या की परिभाषा होती है, मशीन की समझदारी नहीं।

अगर आप जानना चाहते हैं कि आपके बिज़नेस में AI असल में कहाँ मदद करेगा, तो बस मुझे बताइए।

#आर्टिफिशियलइंटेलिजेंस #ऑटोमेशन #बिज़नेसमेंAI #टेक्नोलॉजी