AI रैंकिंग में Opus 5 सबसे आगे: आपके लिए क्या बदलता है

जब भी कोई नया मॉडल आता है, कोई न कोई मुझे मैसेज करके पूछता है कि क्या हमें "सब कुछ बदलना" पड़ेगा. इस हफ़्ते वजह थी Opus 5, जिसने Artificial Analysis की AI रैंकिंग में पहला स्थान ले लिया. यह वही इंडेक्स है जो मॉडलों की तुलना रीज़निंग, कोड और ज्ञान के टेस्ट पर करता है. सवाल जायज़ है. जवाब लगभग हमेशा निराश करता है: आपके बिज़नेस के लिए, ज़्यादातर मामलों में, बहुत कम बदलता है. और जो थोड़ा बदलता है, वो बहुत ख़ास होता है.

मैं बताता हूँ कि यह रैंकिंग नापती क्या है, बेहतर मॉडल का असर नतीजे में कहाँ सच में दिखता है, और कहाँ उससे कोई फ़र्क़ नहीं पड़ता.

यह AI रैंकिंग असल में नापती क्या है

Artificial Analysis मॉडलों पर एक तय टेस्ट सीरीज़ चलाता है और सब कुछ एक ही नंबर में जोड़ देता है. इसमें कठिन गणित के सवाल होते हैं, साइंस के पोस्ट ग्रेजुएट लेवल के प्रश्न, कॉम्पिटिटिव प्रोग्रामिंग की चुनौतियाँ, कई चरणों वाली रीज़निंग. इंडेक्स इन नतीजों को मिलाकर क्रम बनाता है.

यह उपयोगी है. यह सीमित भी है. ग़ौर कीजिए कि टेस्ट किस चीज़ का हो रहा है: बंद किस्म की समस्याएँ, जिनका एक सही जवाब है, और जिनमें किसी कंपनी का संदर्भ नहीं है.

आपका बिज़नेस ऐसा नहीं है. आपकी समस्या यह है कि "इस क्लाइंट ने कोटेशन पर थोड़ा उलझा हुआ सवाल पूछा और दो दिन तक किसी ने मैसेज देखा ही नहीं". कोई बेंचमार्क इसे नहीं नापता. वहाँ अटकाव मॉडल की समझ का नहीं है. दिक्कत यह है कि किसी ने WhatsApp और फ़ैसला लेने वाले इंसान के बीच रास्ता ही नहीं बनाया.

मैंने ऐसी कंपनी देखी है जो पूरी मीटिंग इस बहस में लगा देती थी कि कौन सा मॉडल इस्तेमाल करें, जबकि साइट का फ़ॉर्म लीड को एक ऐसे ईमेल पर भेज रहा था जिसे 2023 से किसी ने खोला नहीं था. मॉडल वहाँ सबसे छोटी समस्या थी.

मॉडल बदलना आसान है. मुश्किल यह जानना है कि आप उससे करवाना क्या चाहते हैं.

बेहतर मॉडल का असर सच में कहाँ दिखता है

यह कहने के बाद भी, यह खोखली मार्केटिंग नहीं है. तीन जगहें हैं जहाँ यह छलांग इस्तेमाल करने वाले को साफ़ दिखती है.

बिना निगरानी वाले लंबे टास्क. पहले आप एक चीज़ कहते थे, जाँचते थे, फिर अगली कहते थे. अब आप दस या पंद्रह कदम वाला टास्क छोड़ सकते हैं और नतीजा शुरू से आख़िर तक सिलसिलेवार आता है. इससे यह बदल जाता है कि कैसा ऑटोमेशन बनाना फ़ायदे का है. एक ऐसा फ़्लो जो शीट पढ़े, सिस्टम से मिलान करे, गड़बड़ियाँ पकड़े और सारांश लिखे, अब भरोसेमंद हो गया है. दो साल पहले यह चौथे कदम पर टूट जाता था.

ख़राब दस्तावेज़. टेढ़ा स्कैन किया कॉन्ट्रैक्ट, ऐसे सप्लायर की PDF इनवॉइस जिसे मानकों से नफ़रत है, तीन हेडर और मर्ज सेल वाली शीट. पुराने मॉडल इन्हीं मामलों में ठीक वहीं ग़लती करते थे जहाँ ग़लती की गुंजाइश नहीं थी: नंबर, तारीख़, रकम. आज के मॉडल कहीं ज़्यादा सही निकलते हैं. ग़लती अब भी होती है, इसीलिए आप जाँच करते हैं. पर जाँच "सब कुछ देखना" से बदलकर "जिसे उसने संदिग्ध बताया वो देखना" हो जाती है.

ऐसा जवाब जो रोबोट जैसा न लगे. ऑटोमैटिक सपोर्ट अब उन मेन्यू ट्री जैसा नहीं लगता. मॉडल समझ जाता है कि "वो प्रपोज़ल अभी भी चालू है क्या?" और "आपने पिछले हफ़्ते वाला मेरा ईमेल देखा था?" एक ही सवाल है, बस मूड अलग है, और उसी हिसाब से जवाब देता है.

ग़ौर कीजिए कि इन तीनों में से कोई भी रैंकिंग में ढंग से नहीं दिखता. रैंकिंग गणित का पेपर नापती है. आपका दिन जो चीज़ बदलती है वो है लंबे और उबाऊ काम में भरोसेमंदी.

क्या वैसा ही रहता है, और आगे भी रहेगा

अब वो हिस्सा जो सबसे ज़्यादा मायने रखता है.

मॉडल को आपकी कंपनी के बारे में कुछ नहीं पता. उसे नहीं पता कि क्लाइंट X हमेशा पंद्रह दिन देर से पेमेंट करता है और वो चलता है. उसे नहीं पता कि जुलाई के ऑफ़र का नियम अलग है. उसे नहीं पता कि अपडेटेड प्राइस लिस्ट वाली फ़ाइल कहाँ है. इनमें से कुछ भी ट्रेनिंग में नहीं है, और कोई भी नया वर्ज़न इसे अंदाज़े से नहीं जान पाएगा.

इसका मतलब यह है कि अच्छा ऑटोमेशन बनाने का काम वही रहता है जो हमेशा से था:

• ठीक-ठीक पता लगाना कि समय कहाँ बह रहा है
• वो नियम लिखना जो आज सिर्फ़ किसी के दिमाग़ में हैं
• उन सिस्टमों को जोड़ना जिन्हें आपस में बात करनी है
• तय करना कि AI क्या अकेले करेगा और किस पर इंसानी नज़र चाहिए
• असली और गंदे मामलों से टेस्ट करना, न कि सजे-धजे उदाहरणों से

किसी प्रोजेक्ट के अस्सी प्रतिशत घंटे इसी में जाते हैं. मॉडल चुनना पाँच मिनट का फ़ैसला है, और वो पलटा भी जा सकता है: आज मॉडल बदलने के लिए कॉन्फ़िगरेशन की एक लाइन बदलनी होती है.

यानी अगले लॉन्च का इंतज़ार करके शुरू करना सबसे ख़राब योजना है. आप आसान हिस्से के चक्कर में मुश्किल काम टाल रहे हैं.

एक ठोस उदाहरण जहाँ इसका वज़न दिखता है

आम स्थिति: एक ऑफ़िस को रोज़ लगभग चालीस ईमेल आते हैं, उनमें से बीस दोहराव वाले ऑपरेशनल काम हैं. डुप्लिकेट कॉपी की माँग, डेडलाइन का सवाल, अपॉइंटमेंट की पुष्टि. कोई एक व्यक्ति रोज़ दो घंटे इसी में लगाता है.

मैंने ऐसा एक फ़्लो बनाया. ऑटोमेशन इनबॉक्स पढ़ता है, पाँच श्रेणियों में बाँटता है, ज़रूरत पड़ने पर सिस्टम से जानकारी खींचता है और तैयार जवाब लिख देता है. भेजता ख़ुद नहीं है. ड्राफ़्ट में छोड़ देता है.

पहले हफ़्ते वो व्यक्ति ध्यान से पढ़कर सब मंज़ूर करती थी. दो घंटे घटकर पचास मिनट हो गए. तीसरे हफ़्ते तक वो एक नज़र डालकर बैच में मंज़ूर करने लगी. बीस मिनट. अजीब मामले, रोज़ के दो के आसपास, सामान्य तरीक़े से उस तक पहुँचते हैं, एक नोट के साथ कि "यह किसी श्रेणी में फ़िट नहीं हुआ".

इस प्रोजेक्ट को मॉडल ने कामयाब नहीं बनाया. कामयाब बनाया इस फ़ैसले ने कि सीधे भेजने के बजाय ड्राफ़्ट में छोड़ा जाए. इससे भरोसा बना, और भरोसा ही बाद में स्केल करने देता है. ज़्यादा मज़बूत मॉडल से वर्गीकरण कुछ अंक बेहतर होता है और ड्राफ़्ट ज़्यादा पैने बनते हैं. अच्छी बात है. पर अगर मैंने पहले ही दिन उसे ख़ुद भेजने दिया होता, तो एक मामूली ग़लती पूरा प्रोजेक्ट ख़त्म कर देती, चाहे दुनिया का कोई भी मॉडल होता.

"तो क्या इन रैंकिंग को नज़रअंदाज़ कर दूँ?"

नहीं. ख़रीदने की दलील के तौर पर नज़रअंदाज़ कीजिए, थर्मामीटर की तरह इस्तेमाल कीजिए.

अगर आपने 2024 में किसी से ऑटोमेशन बनवाया था और वो आधा-अधूरा रह गया, तो बात दोबारा खोलना सही है. जो चीज़ें नामुमकिन थीं, वो अब आम हो गई हैं. जटिल दस्तावेज़ से डेटा निकालना सबसे साफ़ उदाहरण है. कई जुड़े हुए चरणों वाला फ़्लो भी.

अगर आप सपोर्ट में AI इस्तेमाल करते हैं और अब भी वो एहसास आता है कि "साफ़ पता चल रहा है यह रोबोट है", तो वजह शायद पुराना मॉडल है या ख़राब लिखे निर्देश. दोनों एक दोपहर में ठीक हो जाते हैं.

और अगर आप अभी AI कहीं इस्तेमाल नहीं करते, तो यह रैंकिंग आज आपको कुछ काम की बात नहीं बताती. यह बताती है कि टूल अच्छा है. वो तो आप पहले से जानते थे.

एक व्यावहारिक बात: ज़्यादा मज़बूत मॉडल इस्तेमाल के हिसाब से महँगा पड़ता है. हर टास्क को लिस्ट में सबसे ऊपर वाले की ज़रूरत नहीं. ईमेल को पाँच श्रेणियों में बाँटना एक छोटे और सस्ते मॉडल पर बढ़िया चलता है. कॉन्ट्रैक्ट का विश्लेषण लिखना, वहाँ महँगा मॉडल सही बैठता है. व्यवहार में मैं दोनों को एक ही फ़्लो में मिलाता हूँ, और महीने के आख़िर में बिल आभार जताता है.

सोमवार को क्या करें

अगर आप इसका फ़ायदा उठाना चाहते हैं और लॉन्च की ख़बरों के पीछे नहीं भागना चाहते, तो सिर्फ़ एक काम कीजिए: टीम के किसी सदस्य का रोज़ एक घंटे से ज़्यादा खाने वाला कोई दोहराव वाला टास्क चुनिए और काग़ज़ पर वो ठीक-ठीक कदम लिखिए जो वो व्यक्ति फ़ॉलो करता है.

बस इतना. कोई टूल नहीं, कहीं कोई अकाउंट नहीं.

अगर आप कदम लिख पाए, तो उसे ऑटोमेट किया जा सकता है. अगर बीच में अटक गए क्योंकि "यह तो निर्भर करता है", तो आपको वो जगह मिल गई जहाँ इंसानी फ़ैसला सच में मायने रखता है, और ठीक वहीं आप इंसान को रखते हैं और बाक़ी ऑटोमेट कर देते हैं.

कुछ महीनों में रैंकिंग फिर बदलेगी. कोई Opus 5 से आगे निकल जाएगा. आपकी अंदरूनी प्रक्रिया, वो आपकी ही समस्या रहेगी. अच्छी ख़बर यह है कि उसे सुलझाना ही इकलौता काम है जो सच में फ़ायदा देता है, क्योंकि उससे नतीजा बेहतर होता है, चाहे टॉप पर कोई भी मॉडल हो.

अगर आप बात करना चाहते हैं कि आपके काम में किस टास्क को पहले ऑटोमेट करना सही रहेगा, तो मुझसे बात कीजिए. बिना घुमाए-फिराए, मैं आपका मामला देखूँगा और बता दूँगा कि यह फ़ायदे का है या नहीं.

हर हफ़्ते कोई न कोई मुझसे पूछता है कि नया मॉडल आया है तो क्या "सब कुछ बदलना" पड़ेगा.

इस हफ़्ते बारी थी Opus 5 की, जिसने Artificial Analysis की रैंकिंग में पहला स्थान ले लिया.

जवाब निराश करता है: आपके बिज़नेस के लिए बहुत कम बदलता है. ये रैंकिंग गणित के पेपर और कॉम्पिटिटिव कोडिंग नापती है. आपकी असली दिक्कत वो लीड है जो दो दिन से एक ऐसे ईमेल में पड़ा है जिसे कोई खोलता ही नहीं.

मैंने ऐसी कंपनी देखी है जो पूरी मीटिंग मॉडल चुनने में लगा देती है, जबकि साइट का फ़ॉर्म कॉन्टैक्ट को 2023 से छोड़े हुए इनबॉक्स में भेज रहा था.

आज मॉडल बदलना मतलब कॉन्फ़िगरेशन की एक लाइन बदलना. असली काम है यह पता लगाना कि समय कहाँ बर्बाद हो रहा है, वो नियम लिखना जो सिर्फ़ किसी के दिमाग़ में हैं, और तय करना कि किस चीज़ पर इंसानी नज़र चाहिए.

अगले लॉन्च का इंतज़ार करना मतलब आसान हिस्से के चक्कर में मुश्किल हिस्सा टालना.

आपके काम में कौन सा दोहराव वाला टास्क रोज़ एक घंटे से ज़्यादा खाता है? बताइए, मैं कहूँगा कि उसे ऑटोमेट करना सही रहेगा या नहीं.

#ऑटोमेशन #आर्टिफिशियलइंटेलिजेंस #प्रोडक्टिविटी #डिजिटलट्रांसफॉर्मेशन #एआई