एआई एजेंट: रैंकिंग का ताज फिर बदल गया
आपने अप्रैल में "बाज़ार के सबसे अच्छे मॉडल" के आधार पर एक ऑटोमेशन प्रोजेक्ट मंज़ूर किया। अगस्त में सबसे अच्छा मॉडल कोई और है। और शायद चीनी है।
Qwen3.8 Max ने Artificial Analysis के एजेंट इंडेक्स में पहला स्थान ले लिया है। यह इंडेक्स मापता है कि कोई मॉडल कई चरणों वाले काम अकेले कितनी दूर तक पूरा कर पाता है, सिर्फ़ सवालों के सुंदर जवाब देना नहीं। इस साल यह तीसरी बार है जब लीडर बदला है। अगर आप बिज़नेस के मालिक हैं और तय करने की कोशिश कर रहे हैं कि एआई एजेंट पर कहाँ दांव लगाएँ, तो यह खबर अहम लगती है। यह जितनी लगती है उतनी अहम नहीं है, और मैं बताऊँगा क्यों।
यह रैंकिंग असल में क्या मापती है
अच्छी बातचीत करने वाले मॉडल और अच्छा काम करने वाले मॉडल में बड़ा फ़र्क होता है।
अच्छी बातचीत यानी सवाल का जवाब देना। अच्छा काम यानी यह निर्देश मिलना: "इस स्प्रेडशीट के ऑर्डर एक जगह जोड़ो, देखो किनका इनवॉइस बाकी है और मुझे सारांश भेजो"। और फिर तीनों काम सही क्रम में करना, बीच में कोई डेटा गढ़े बिना।
एजेंट इंडेक्स दूसरी चीज़ मापने की कोशिश करता है। वह मॉडल से टूल इस्तेमाल कराता है, ब्राउज़िंग कराता है, कोड लिखवाता है, सिस्टम से जानकारी निकलवाता है और लंबे काम पूरे कराता है। यह उस चीज़ के सबसे करीब का टेस्ट है जो आप वाकई चाहते हैं: कोई ऐसा जो काम करे, राय न दे।
और यहाँ एक दिलचस्प बात है। इस तरह के टेस्ट में पहले और पाँचवें स्थान के बीच की दूरी बहुत कम है। बात कुछ प्रतिशत अंकों की है। पहला स्थान सुर्खियाँ बनाता है। असल में, अगर आपकी प्रक्रिया पाँचवें नंबर वाले मॉडल के साथ काम करती है, तो पहले नंबर वाले के साथ भी करेगी, और उल्टा भी सच है।
मॉडल बदलने से आपकी समस्या शायद ही कभी हल होती है
सीधी बात कहूँ: मैंने जितने भी ऑटोमेशन प्रोजेक्ट फेल होते देखे हैं, उनमें दोषी मॉडल नहीं था।
दोषी आमतौर पर ये होते हैं:
- गंदा डेटा। एजेंट वह स्प्रेडशीट पढ़ता है जिसमें एक ही क्लाइंट "Silva ME", "Silva Me" और "silva mercadinho" के रूप में दर्ज है। रैंकिंग का कोई भी मॉडल इसे अकेले ठीक नहीं करता।
- अस्पष्ट प्रक्रिया। कोई लिखकर नहीं बता पाता कि जब ऑर्डर बिना टैक्स नंबर के आता है तो क्या होता है। अगर इंसान को नहीं पता, तो एजेंट को भी नहीं पता चलेगा।
- पहुँच की कमी। जिस सिस्टम में जानकारी रखी है उसका कोई इंटीग्रेशन नहीं है, और जवाब मिलता है "हर शुक्रवार फलाँ व्यक्ति मैन्युअली एक्सपोर्ट कर देती हैं"।
ये तीनों समस्याएँ किसी भी मॉडल के अंतर से ज़्यादा महँगी पड़ती हैं। और इन्हें सुलझाना उबाऊ है, इसीलिए ज़्यादातर लोग यह बहस करना पसंद करते हैं कि कौन सी एआई सबसे अच्छी है।
मॉडल बदलना आसान है। प्रक्रिया ठीक करना ही असली काम है।
उस कोटेशन का किस्सा जिसमें दो दिन लगते थे
मेरे एक क्लाइंट, एक डिस्ट्रीब्यूटर, के यहाँ यह प्रक्रिया थी। सेल्समैन को WhatsApp पर ऑर्डर मिलता था, आमतौर पर हाथ से लिखी लिस्ट की फोटो या क्लाइंट का PDF। वह सब कुछ सिस्टम में टाइप करता, स्टॉक देखता, भाड़ा जोड़ता, कोटेशन बनाता और वापस भेजता। व्यस्त दिनों में औसतन दो दिन प्रति कोटेशन।
हमने मशीनी हिस्से के लिए एक एजेंट बनाया: ऑर्डर पढ़ना, कैटलॉग में आइटम पहचानना, स्टॉक जाँचना और कोटेशन का ड्राफ्ट बनाना। सेल्समैन जाँचता और मंज़ूरी देता है। समय घटकर करीब बीस मिनट रह गया।
इसे कारगर बनाने वाला मॉडल नहीं था। वह था पिछला महीना, जो तीन बिलकुल साधारण कामों में लगा:
- हमने प्रोडक्ट कैटलॉग को मानकीकृत किया, क्योंकि एक ही आइटम के चार अलग नाम थे।
- हमने लिखकर तय किया कि जब एजेंट को यकीन न हो तो वह क्या करे (जवाब: रुकता है और पूछता है, कभी अंदाज़ा नहीं लगाता)।
- हमने सेल्समैन को प्रक्रिया के आख़िर में रखा, वीटो के अधिकार के साथ।
वहाँ इस्तेमाल हुआ मॉडल तब से दो बार बदल चुका है। प्रक्रिया वही है, और हर बार बदलने में एक दोपहर लगी। बात यही है।
तो क्या रैंकिंग किसी काम की नहीं?
काम की है। बस उस काम की नहीं जो ज़्यादातर लोग समझते हैं।
यह आपको बाज़ार की दिशा समझने में काम आती है। और दिशा साफ़ है: Qwen जैसे चीनी ओपन मॉडल अमेरिकी मॉडलों के बहुत करीब आ गए हैं और कीमत का एक अंश ले रहे हैं। इससे आपके प्रोजेक्ट का हिसाब बदल जाता है।
महँगे मॉडल के साथ रोज़ हज़ार काम करने वाले एजेंट पर महीने के कुछ हज़ार रुपये लग सकते हैं। वही एजेंट किसी प्रतिस्पर्धी ओपन मॉडल के साथ कुछ सौ में चल सकता है। जब गुणवत्ता का अंतर बेंचमार्क पर दो अंक हो और कीमत का अंतर पाँच गुना हो, तो फैसला बहुत कम दार्शनिक रह जाता है।
यह अपेक्षाएँ सही करने में भी काम आती है। आज के सबसे अच्छे मॉडल टेस्ट माहौल में जटिल एजेंटिक कामों में लगभग 60% से 70% ही सही करते हैं। 99% नहीं। अगर कोई आपको ऐसा एजेंट बेचे जो "बिना निगरानी सब कुछ अकेले करता है", तो पूछिए कि कौन सा बेंचमार्क यह साबित करता है। जवाब दिलचस्प होगा।
सुर्खियों का बंधक बने बिना फैसला कैसे लें
इसे देखने का एक व्यावहारिक तरीका, इसी क्रम में:
प्रक्रिया चुनिए, तकनीक नहीं। ऐसा काम लीजिए जो दोहराया जाता हो, जिसके नियम साफ़ हों और जो महँगे लोगों के घंटे खा रहा हो। कोटेशन, ईमेल छँटाई, दस्तावेज़ जाँच, पहली पंक्ति का जवाब। अगर काम में बारीक समझ चाहिए या गलती बहुत महँगी पड़ती है, तो उसे बाद के लिए छोड़ दीजिए।
इंजन बदलने की गुंजाइश रखकर बनवाइए। यह बनाने वाले की ज़िम्मेदारी है, पर आप इसकी माँग कर सकते हैं। अपने सप्लायर से सही सवाल यह है: "अगर तीन महीने में कोई बेहतर या सस्ता मॉडल आ जाए, तो बदलने में कितना काम लगेगा?"। अगर जवाब "सब कुछ दोबारा बनाना पड़ेगा" है, तो प्रोजेक्ट का डिज़ाइन गलत है।
शुरू करने से पहले नापिए। आज इस काम में कितना समय लगता है? महीने में कितनी गलतियाँ होती हैं? इन दो आँकड़ों के बिना आप साबित नहीं कर पाएँगे कि ऑटोमेशन फायदेमंद रहा, और फैसला महज़ अंदाज़े से होगा।
फैसले की जगह पर एक इंसान रखिए। इसलिए नहीं कि एआई बेवकूफ़ है, बल्कि इसलिए कि ज़िम्मेदारी आपकी ही रहती है। एजेंट तैयार करता है, इंसान मंज़ूरी देता है। नतीजा बेहतर आता है और नींद भी अच्छी आती है।
आपकी जगह मैं क्या करता
छह महीने तक रैंकिंग को नज़रअंदाज़ कीजिए। वह फिर बदलेगी, शायद उससे भी पहले।
उस समय का इस्तेमाल एक प्रक्रिया चुनने में कीजिए, यह लिखने में कि वह असल में कैसे चलती है (मैनुअल में जैसी लिखी है वैसी नहीं), और उसके डेटा को साफ़ करने में। जब यह तैयार हो जाएगा, तो ऊपर एजेंट जोड़ना कुछ हफ़्तों का काम रह जाएगा, और आप बिना कुछ दोबारा बनाए जितनी बार चाहें मॉडल बदल पाएँगे।
ऑटोमेशन का मुश्किल हिस्सा कभी एआई नहीं था। वह हमेशा अपनी ही प्रक्रिया को इतना अच्छे से समझना था कि उसे किसी ऐसे व्यक्ति को समझाया जा सके जिसने आपकी कंपनी में कभी काम नहीं किया। बस अब वह कोई मशीन है, और वह बहुत शाब्दिक होती है।
अगर आपके मन में कोई प्रक्रिया है और आप ईमानदार राय चाहते हैं कि उसे ऑटोमेट करना सही है या नहीं, मुझे बताइए कि आप आज क्या करते हैं। कभी कभी जवाब सिर्फ़ एक बेहतर स्प्रेडशीट होता है, और मैं यह भी कह देता हूँ।
LinkedIn के लिए सारांश
अप्रैल में आपने "बाज़ार के सबसे अच्छे मॉडल" के साथ एक ऑटोमेशन प्रोजेक्ट मंज़ूर किया था। अगस्त में सबसे अच्छा कोई और है, और शायद चीनी है। Qwen3.8 Max ने एजेंट रैंकिंग में पहला स्थान ले लिया है। इस साल तीसरी बार लीडर बदला है। लेकिन मैंने जितने भी ऑटोमेशन प्रोजेक्ट फेल होते देखे, उनमें मॉडल कभी दोषी नहीं था। दोषी था गंदा डेटा, ऐसी प्रक्रिया जिसे कोई लिखकर समझा नहीं पाता, और बिना इंटीग्रेशन वाला सिस्टम। मेरे एक क्लाइंट ने कोटेशन का समय 2 दिन से घटाकर 20 मिनट कर लिया। यह काम किया एक महीने की कैटलॉग सफ़ाई और नियम तय करने ने, फैशन में चल रही एआई ने नहीं। तब से मॉडल दो बार बदल चुका है और हर बार बदलने में एक दोपहर लगी। छह महीने तक रैंकिंग को नज़रअंदाज़ कीजिए। उस समय का इस्तेमाल अपनी खुद की प्रक्रिया समझने में कीजिए। अगर आपके मन में कोई दोहराया जाने वाला काम है और आप ईमानदार राय चाहते हैं कि उसे ऑटोमेट करना सही है या नहीं, मुझसे बात कीजिए। कभी कभी जवाब सिर्फ़ एक बेहतर स्प्रेडशीट होता है, और मैं यह भी कह देता हूँ। #आर्टिफिशियलइंटेलिजेंस #ऑटोमेशन #उत्पादकता #टेक्नोलॉजी #बिज़नेस