एआई एजेंट: रैंकिंग बदल गई, अब क्या?
आपने छह महीने पहले एक एआई टूल चुना था। पैसे दिए, टीम को ट्रेनिंग दी, सिस्टम में जोड़ा। कल नई रैंकिंग आई और आपकी पसंद अब पहले स्थान पर नहीं है। तो क्या अब सब फेंक देना है?
नहीं। पर यह समझना ज़रूरी है कि हुआ क्या, क्योंकि यह फिर से होगा। Artificial Analysis की एआई एजेंट रैंकिंग, जो मापती है कि मॉडल सिर्फ़ सवालों के जवाब देने के बजाय असली काम कितना अच्छा करते हैं, उसने Qwen3.8 Max को शीर्ष पर रखा। यह अलीबाबा का चीनी मॉडल है। इसने उन नामों को पीछे छोड़ा जिन्हें आप शायद जानते हैं। और तीन महीने बाद शायद कोई और इसे पीछे छोड़ देगा।
यही असली ख़बर है। बात यह नहीं कि कौन सा मॉडल जीता। बात यह है कि शिखर कितनी तेज़ी से मालिक बदलता है।
"एजेंटिक इंडेक्स" क्या है और यह ज़्यादा क्यों मायने रखता है
शुरुआती एआई रैंकिंग ज्ञान मापती थीं। सवाल पूछते थे और देखते थे कि कौन ज़्यादा सही जवाब देता है। देखने में अच्छा लगता था, पर कंपनी चलाने वालों के लिए लगभग बेकार।
एजेंटिक इंडेक्स कुछ और मापता है: क्या मॉडल कुछ कर सकता है। एक सिस्टम खोलना, डेटा ढूँढना, दूसरे से तुलना करना, फैसला लेना, अमल करना। कदमों की एक श्रृंखला जिसमें हर गलती अगले कदम को दूषित करती है।
यह उस ट्रेनी और इस ट्रेनी का फ़र्क है जो बहुत कुछ जानता है, और उस ट्रेनी का जो समस्या अकेले हल कर देता है। पहला दोपहर के खाने पर अच्छा लगता है। दूसरे को आप नहीं निकालते।
व्यवहार में यह इंडेक्स असली सवाल का जवाब देता है: क्या यह मॉडल दस चरणों वाला काम बीच में भटके बिना संभाल लेता है? क्योंकि आपके ऑपरेशन को यही चाहिए। कोई भी "एक टेक्स्ट लिखना" ऑटोमेट नहीं करता। ऑटोमेट यह होता है: "ऑर्डर लेना, स्टॉक जाँचना, इनवॉइस बनाना, ग्राहक को सूचित करना, शीट अपडेट करना"।
पहले स्थान पर एक चीनी मॉडल क्या कहता है?
यह कहता है कि यह क्षेत्र उम्मीद से कहीं तेज़ी से कमोडिटी बन गया।
दो साल पहले लीडर और बाकी सबके बीच साफ़ फ़ासला था। आज एक पूरा झुंड है। पाँच या छह मॉडल दशमलव अंकों के लिए लड़ रहे हैं, और हर लॉन्च पर जगहें बदलती हैं। इनमें से कुछ की कीमत पहले वसूली जाने वाली रकम का एक अंश है।
यह आपके लिए बढ़िया है और उनके लिए बुरा जिन्होंने सब कुछ एक ही सप्लायर पर दाँव लगा दिया।
जब लीडर हर तिमाही बदलता है, तो लीडर को चुनना रणनीति नहीं रह जाती।
डेटा कहाँ चलता है, यह सवाल तो है ही। अगर आप ग्राहक की संवेदनशील जानकारी प्रोसेस करेंगे, तो सर्वर का देश मायने रखता है, और कानूनी रूप से मायने रखता है। पर यह आर्किटेक्चर का फैसला है, जो हो रहा है उसे नज़रअंदाज़ करने की वजह नहीं। इनमें से कई मॉडल लोकल चलते हैं या ब्राज़ीली क्लाउड पर। इस पर मैं पहले लिख चुका हूँ।
जो गलती मैं कंपनियों को करते देखता हूँ
सीधे कहूँगा, क्योंकि बातचीत में यही सबसे ज़्यादा सामने आता है।
कंपनी एक एआई टूल लेती है, और टूल के अंदर एक मॉडल पहले से जुड़ा होता है, जिसे सप्लायर ने चुना है। उसे बदला नहीं जा सकता। फिर वह मॉडल पिछड़ जाता है, या उसकी कीमत तिगुनी हो जाती है, और आपको पता चलता है कि आपका पूरा ऑटोमेशन किसी और के लिए गए फैसले पर टिका है।
मैंने एक डिस्ट्रीब्यूटर को देखा जिसने पूरी व्हाट्सएप ऑर्डर छँटाई एक बंद प्लेटफ़ॉर्म पर बनाई थी। आठ महीने अच्छा चला। फिर सप्लायर ने प्लान बदला, हर बातचीत की लागत बढ़ी, और बदलने का मतलब था सब कुछ शून्य से दोबारा बनाना। हिसाब लगाया: जिस चीज़ को बनाने में 12 दिन लगे थे, उसे माइग्रेट करने में करीब 40 दिन।
समस्या मॉडल की पसंद नहीं थी। समस्या यह थी कि दरवाज़ा खुला नहीं छोड़ा गया।
ऐसा ऑटोमेशन कैसे बनाएँ जो अगले लीडर बदलाव में भी टिके
नियम आसान है: मॉडल एक पुर्ज़ा है, नींव नहीं।
आपके ऑटोमेशन को चलाने वाली चीज़ मॉडल नहीं है। वह उसके आसपास मौजूद चीज़ें हैं:
- डेटा। जानकारी कहाँ से आती है, वह साफ़ कैसे पहुँचती है, उसे कौन बनाए रखता है।
- नियम। एजेंट क्या कर सकता है और क्या नहीं। वह कहाँ रुककर इंसान को बुलाता है।
- टेस्ट। आपकी कंपनी के असली मामलों का एक सेट, जिसे आप हर नए मॉडल पर चलाते हैं।
- बदलाव का बिंदु। कोड में एक ही जगह जहाँ मॉडल चुना जाता है।
अगर ये चार खड़े हैं, तो मॉडल बदलना एक दोपहर का काम है। आप रैंकिंग का नया लीडर लेते हैं, अपने तीस टेस्ट केस चलाते हैं, नतीजा और लागत की तुलना करते हैं, और फैसला लेते हैं। बिना ड्रामा।
अगर नहीं हैं, तो हर बदलाव एक प्रोजेक्ट है।
बदलाव का बिंदु सबसे सस्ता हिस्सा है और सबसे ज़्यादा लोग इसी को छोड़ देते हैं। ठोस रूप में: मॉडल की कॉल पंद्रह फ़ाइलों में बिखेरने के बजाय, आप उन्हें एक जगह जमा करते हैं। बाकी पूरा सिस्टम उसी एक से बात करता है। इंजन बदलना एक लाइन बदलना बन जाता है। शुरुआत में करने पर लागत लगभग शून्य है, बाद में करने पर हफ़्तों की।
और टेस्ट? कैसे जानें कि नया मॉडल आपके लिए बेहतर है
सार्वजनिक रैंकिंग सामान्य काम मापती है। आपकी कंपनी सामान्य नहीं है।
अपना सेट बनाइए। इसे जटिल होने की ज़रूरत नहीं। 20 से 40 असली मामले लीजिए जो पहले हो चुके हैं, जिनका सही जवाब आपको पता है। उलझे हुए ऑर्डर, दो अर्थ वाले ईमेल, अधूरे डेटा वाली इनवॉइस। वही स्थितियाँ जो सिरदर्द देती हैं।
फिर, जब नया मॉडल आए, आप 30 केस चलाते हैं और तीन आँकड़े देखते हैं:
- कितने सही हुए। ज़ाहिर है, पर यह लिखा होना चाहिए।
- कितना खर्च हुआ। 30 की लागत जोड़िए और अपने मासिक वॉल्यूम से गुणा कीजिए।
- कितना समय लगा। अगर ग्राहक व्हाट्सएप पर जवाब का इंतज़ार करता है, तो 40 सेकंड और 4 सेकंड में फ़र्क है।
जो मॉडल 2% ज़्यादा सही होता है पर तीन गुना महँगा है, वह आपके लिए बेहतर नहीं है। वह रैंकिंग में बेहतर है। ये अलग बातें हैं।
मैंने ऐसा मामला देखा है जहाँ एक सस्ता मॉडल इनवॉइस से डेटा निकालने के एक ख़ास काम में "दुनिया के सबसे अच्छे" मॉडल से जीत गया, सिर्फ़ इसलिए कि काम संकीर्ण था और महँगा मॉडल बेवजह सोचने में खर्च कर रहा था। रैंकिंग को यह पता नहीं था। उन 30 केसों को पता था।
इस हफ़्ते क्या करें
अगर आपके पास पहले से कोई एआई ऑटोमेशन चल रहा है, तो तीन सवाल:
क्या आप जानते हैं कि पीछे कौन सा मॉडल है? अगर जवाब है "शायद OpenAI का है, पर पक्का नहीं", तो यही एक संकेत है।
क्या आप उसे बदल सकते हैं? सप्लायर से या बनाने वाले से पूछिए। अगर जवाब में "तब तो सब दोबारा बनाना पड़ेगा" आता है, तो आपको जोखिम का आकार पता चल गया।
क्या आपके पास तुलना करने का तरीका है? अगर किसी ने कभी टेस्ट केस नहीं लिखे, तो लिखिए। एक दोपहर उन लोगों के साथ बिताइए जो यह काम हाथ से करते हैं, और वे मामले सूचीबद्ध कीजिए जो अक्सर दिक्कत देते हैं। यह पूरे प्रोजेक्ट की सबसे टिकाऊ संपत्ति है, क्योंकि यह हर मॉडल बदलाव के बाद भी बची रहती है।
और अगर आपके पास अभी कुछ नहीं चल रहा, तो बहुत अच्छा। आप सीधे सही ढाँचे से शुरू करते हैं, किसी के तकनीकी कर्ज़ के बिना।
रैंकिंग फिर बदलेगी। शायद क्रिसमस से पहले ही। सवाल यह नहीं कि शिखर पर कौन होगा। सवाल यह है कि जब ऐसा हो, तब आप वह ख़बर डर के साथ पढ़ेंगे या जिज्ञासा के साथ।
अगर आप बात करना चाहें कि आपका ऑटोमेशन कैसे बना है, या ऐसा ऑटोमेशन कैसे बनाएँ जो आपको बाँधे नहीं, तो देखिए मैं कौन हूँ और मुझे संदेश भेजिए।
LinkedIn के लिए सारांश
आपने छह महीने पहले एक एआई टूल चुना था। कल नई रैंकिंग आई और वह अब पहले स्थान पर नहीं है। तो क्या अब सब कुछ फेंक देना है? नहीं। पर संदेश साफ़ है: हर तिमाही में शिखर का मालिक बदल जाता है। लीडर को चुनना अब रणनीति नहीं रही। आपके ऑटोमेशन को ज़िंदा रखने वाली चीज़ मॉडल नहीं है। वह है डेटा, नियम, आपकी कंपनी के असली मामलों पर किए गए टेस्ट और कोड में एक ही जगह जहाँ मॉडल बदला जाता है। यह सब खड़ा हो तो माइग्रेशन एक दोपहर का काम है। इसके बिना हर बदलाव 40 दिन का प्रोजेक्ट बन जाता है। चाहें तो मुझसे बात कीजिए कि आपका सेटअप कैसा बना है। तीन सवालों में जोखिम का आकार पता चल जाता है। #आर्टिफिशियलइंटेलिजेंस #एआईएजेंट #ऑटोमेशन #डिजिटलट्रांसफॉर्मेशन #टेक्नोलॉजी