AI एजेंट: रैंकिंग बदल गई, तो क्या?

हर महीने कोई आपको रैंकिंग का स्क्रीनशॉट भेजता है और कहता है कि कोई बेहतर मॉडल आ गया है। इस हफ़्ते वह Qwen3.8 Max था, जिसने Artificial Analysis के AI एजेंट इंडेक्स में पहला स्थान ले लिया। अगर आप बिज़नेस के मालिक हैं, तो सही सवाल यह नहीं है कि "कौन सा मॉडल सबसे अच्छा है"। सही सवाल है: क्या इससे उस चीज़ में कुछ बदलता है जो मैं पहले से इस्तेमाल कर रहा हूँ?

ज़्यादातर मामलों में, कुछ नहीं बदलता। और मैं समझाता हूँ क्यों, क्योंकि यह समझने से बेकार की अदला-बदली के कई महीने बच जाते हैं।

AI एजेंट रैंकिंग असल में क्या मापती है

एजेंटिक इंडेक्स "बुद्धिमत्ता" नहीं मापता। वह यह मापता है कि मॉडल कई चरणों वाले काम को बीच रास्ते भटके बिना पूरा कर पाता है या नहीं। जैसे: कोई जानकारी खोजना, कोई टूल इस्तेमाल करना, नतीजा पढ़ना, अगला कदम तय करना, और जो शुरू किया उसे खत्म करना।

यह उससे अलग है जो ज़्यादातर लोग AI से करवाते हैं। अगर आप AI का इस्तेमाल ईमेल लिखने, मीटिंग का सार बनाने या विज्ञापन का टेक्स्ट बनाने के लिए करते हैं, तो यह रैंकिंग आपके लिए नहीं है। पिछले दो साल का कोई भी अच्छा मॉडल यह काम कर देता है।

रैंकिंग तब मायने रखने लगती है जब आप चाहते हैं कि AI कुछ करे, सिर्फ़ लिखे नहीं। एक ठोस उदाहरण: एक एजेंट जो WhatsApp पर ऑर्डर लेता है, आपके सिस्टम में स्टॉक देखता है, जाँचता है कि ग्राहक के पास क्रेडिट है या नहीं, बिल बनाता है और जवाब देता है। ये पाँच चरण हैं। अगर मॉडल तीसरे चरण में गलती करता है, तो ग्राहक को गलत बिल मिलता है। तब मॉडलों का फ़र्क आपके बैंक खाते में दिखता है।

पहले और पाँचवें स्थान का अंतर आपकी सोच से कम है

आराम से आँकड़े देखिए। टॉप मॉडल और पाँचवें स्थान वाले के बीच की दूरी आम तौर पर कुछ प्रतिशत अंकों की होती है। इसका मतलब एक असहज बात है: पाँच चरणों वाले काम में, प्रति चरण 91% सटीकता वाला मॉडल और 88% वाला मॉडल पूरे काम में 62% और 53% सफलता पर खत्म होते हैं।

लगता बहुत है। पर दोनों खराब हैं। इनमें से कोई भी आपके वित्तीय काम में बिना निगरानी के अकेला नहीं चल सकता।

आपके एजेंट की अड़चन लगभग कभी मॉडल नहीं होती। अड़चन वह है जो आपने उसे काम करने के लिए दिया।

मैंने ऐसी कंपनी देखी है जिसने तीन बार मॉडल बदला, जबकि समस्या डेटा की थी। एजेंट स्टॉक में गलती करता था क्योंकि स्टॉक की शीट में "मात्रा" नाम के तीन कॉलम थे। दुनिया की कोई रैंकिंग इसे ठीक नहीं करती।

जब कोई चीनी मॉडल आगे निकलता है तो असल में क्या बदलता है

यहाँ एक व्यावहारिक बात है जिस पर कोई बात नहीं करता: कीमत।

Qwen जैसे मॉडल आम तौर पर अमेरिकी समकक्षों की लागत के एक अंश में मिलते हैं। हम प्रति मिलियन टोकन पाँच से दस गुना के फ़र्क की बात कर रहे हैं। जब कोई सस्ता मॉडल रैंकिंग के टॉप के पास पहुँचता है, तो उपलब्ध अधिकतम गुणवत्ता नहीं बदलती। बदलती है अच्छी चीज़ को बड़े पैमाने पर चलाने की लागत।

यह तब मायने रखता है जब आपका एजेंट रोज़ 3 हज़ार मैसेज प्रोसेस करता है। मासिक बिल R$ 4 हज़ार से घटकर R$ 600 पर आ सकता है। यह असली बिज़नेस फ़ैसला है, Twitter का hype नहीं।

दूसरा पहलू: Qwen जैसे ओपन मॉडल आप अपने ही इन्फ्रास्ट्रक्चर पर चला सकते हैं। संवेदनशील डेटा आपके घर से बाहर नहीं जाता। क्लिनिक, वकालत के दफ़्तर या किसी भी कंपनी के लिए जो ग्राहक का डेटा संभालती है, यह बेंचमार्क के दो अंकों से ज़्यादा कीमती है।

रैंकिंग का बंधक बने बिना फ़ैसला कैसे लें

जब कोई क्लाइंट पूछता है कि बदलना सही है या नहीं, तो मेरी प्रक्रिया क्रम में यह है:

• क्या काम सच में एजेंटिक है? अगर लिखना या सार बनाना है, तो रैंकिंग छोड़िए और कीमत देखकर चुनिए।
• आज गलती कहाँ हो रही है? मॉडल की गलती (उसने डेटा गढ़ा) और संदर्भ की गलती (आपने डेटा दिया ही नहीं) को अलग कीजिए। दूसरी वाली भारी बहुमत में है।
• आप महीने में कितना खर्च करते हैं? अगर R$ 500 से कम है, तो मॉडल बदलना प्राथमिकता नहीं है। माइग्रेशन में लगने वाला आपका समय ज़्यादा कीमती है।
• क्या समानांतर में टेस्ट कर सकते हैं? नए मॉडल को 100 असली केसों पर चलाइए जिनका जवाब आपको पहले से पता है। तुलना कीजिए। एक दिन लगता है।

यह आखिरी बिंदु ही तय करता है कि कौन अच्छा फ़ैसला लेता है और कौन स्क्रीनशॉट देखकर। आपको किसी के बेंचमार्क पर भरोसा करने की ज़रूरत नहीं है। आपके पास अपने केस हैं।

100 केसों वाला टेस्ट, व्यवहार में

मैं इसे विस्तार से बताता हूँ क्योंकि यही सबसे काम का हिस्सा है।

अपने बिज़नेस में पहले हो चुकी 100 असली बातचीत लीजिए। ऑर्डर, ग्राहकों के सवाल, अंदरूनी अनुरोध, जो भी आप ऑटोमेट करना चाहते हैं। ऐसे केस चुनिए जिनका सही जवाब आपको पहले से पता है, क्योंकि उस समय किसी इंसान ने उन्हें हल किया था।

100 केस मौजूदा मॉडल पर चलाइए। वही 100 नए मॉडल पर चलाइए। तीन चीज़ें गिनिए:

1. कितने पूरी तरह सही रहे।
2. कितने ऐसे गलत हुए कि गलती तुरंत दिख जाती है।
3. कितने चुपचाप गलत हुए, ऐसे कि किसी को पता ही न चले।

तीसरा नंबर ही मारता है। जो एजेंट ज़ोरदार और साफ़ दिखने वाली गलती करता है, वह परेशान करता है पर संभाला जा सकता है। जो एजेंट चुपचाप, पूरे आत्मविश्वास के साथ गलती करता है और तीन हफ़्ते तक किसी को पता नहीं चलता, वह महँगा पड़ता है।

अगर नया मॉडल तीसरे नंबर को बेहतर नहीं करता, तो माइग्रेशन का कोई फ़ायदा नहीं। भले ही वह ग्रह की हर रैंकिंग में पहले स्थान पर हो।

आपका पैसा मैं कहाँ लगाता

अगर इस छमाही में आपके पास AI में लगाने के लिए R$ 10 हज़ार हैं, तो मैं मॉडल बदलने में एक रुपया भी खर्च नहीं करता। मैं ऐसे खर्च करता:

पहला, उस डेटा को व्यवस्थित करने में जिसे एजेंट देखेगा। एक जैसे फ़ील्ड नाम, हर जानकारी के लिए एक ही सच्चा स्रोत, साफ़ इतिहास। यह दुनिया का सबसे उबाऊ काम है और यहीं 70% फ़ायदा छिपा है।

दूसरा, साफ़ सीमाएँ तय करने में। जो एजेंट कह सके "मुझे नहीं पता, Diego को बुलाइए", वह उससे कीमती है जो अंदाज़ा लगाने की कोशिश करता है। प्रॉम्प्ट लिखने से पहले एस्केलेशन के नियम लिखिए।

तीसरा, 100 केसों वाले टेस्ट को एक रूटीन बनाने में, न कि एक इवेंट। जब भी नया मॉडल आए, आप एक दोपहर में उसे चलाकर जवाब जान लेते हैं। बिना राय के, बिना रैंकिंग के स्क्रीनशॉट के, बिना बेचैनी के।

तब जाकर, यह सब तैयार होने पर, मॉडल बदलना दस मिनट का फ़ैसला बन जाता है। और आप वही झेलने में मुश्किल इंसान बन जाते हैं जो स्क्रीनशॉट आते ही कहता है "मैंने टेस्ट कर लिया है"।

ईमानदार निष्कर्ष

Qwen3.8 Max का AI एजेंट रैंकिंग में आगे रहना अच्छी खबर है। इसका मतलब है कि अच्छा एजेंट चलाना सस्ता हो गया है और आपके डेटा को कहाँ रखना है, इसके विकल्प बढ़ गए हैं।

पर इसका मतलब यह नहीं कि आपका एजेंट कल बेहतर काम करेगा। वह तब बेहतर काम करेगा जब आप उसके नीचे की चीज़ें ठीक करेंगे। मॉडल इंजन है। सड़क अब भी आपको चाहिए।

अगर आप कोई एजेंट बनाने की कोशिश कर रहे हैं और वह टेस्ट में चलता है पर असल ज़िंदगी में टूट जाता है, तो आम तौर पर यह इन्फ्रास्ट्रक्चर की इन तीन समस्याओं में से एक होती है, मॉडल की नहीं। मुझे अपना केस बताइए, मैं बताऊँगा कि तीनों में से कौन सी है।

हर महीने कोई न कोई मुझे रैंकिंग का स्क्रीनशॉट भेजता है और कहता है कि कोई बेहतर मॉडल आ गया है।

इस हफ़्ते एजेंट इंडेक्स में सबसे ऊपर Qwen3.8 Max था। और सही सवाल यह नहीं है कि "सबसे अच्छा कौन सा है"। सही सवाल है: क्या इससे उस चीज़ में कुछ बदलता है जो मैं पहले से इस्तेमाल कर रहा हूँ?

लगभग हमेशा, कुछ नहीं बदलता। मैंने ऐसी कंपनी देखी है जिसने तीन बार मॉडल बदला, जबकि समस्या डेटा की थी: स्टॉक की शीट में "मात्रा" नाम के तीन कॉलम थे। दुनिया की कोई रैंकिंग इसे ठीक नहीं करती।

जब कोई सस्ता मॉडल टॉप के पास पहुँचता है, तब असल में जो बदलता है वह है लागत। रोज़ 3 हज़ार मैसेज वाला एजेंट R$ 4 हज़ार से घटकर R$ 600 प्रति माह पर आ सकता है। यह सच में बिज़नेस का फ़ैसला है।

और अगर आप स्क्रीनशॉट देखकर फ़ैसला लेना बंद करना चाहते हैं: 100 असली केस लीजिए जिनका जवाब आपको पहले से पता है, दोनों मॉडलों पर चलाइए और गिनिए कि कितने चुपचाप गलत होते हैं। एक दिन लगता है और यह किसी भी बेंचमार्क से ज़्यादा काम का है।

आपका एजेंट टेस्ट में चलता है पर असल ज़िंदगी में टूट जाता है? मुझे अपना केस बताइए, मैं बताऊँगा कि अड़चन कहाँ है।

#आर्टिफिशियलइंटेलिजेंस #AIएजेंट #ऑटोमेशन #डिजिटलट्रांसफॉर्मेशन #टेक्नोलॉजी