Grok 4.6 को AI रैंकिंग में 61 अंक मिले। इससे आपके लिए क्या बदलता है?
हर हफ्ते मेरे WhatsApp पर एक मैसेज आता है। रैंकिंग का स्क्रीनशॉट और सवाल: "Diego, क्या इस वाले पर स्विच करना चाहिए?"। इस बार स्क्रीनशॉट Grok 4.6 का था, xAI का नया मॉडल, जिसने Artificial Analysis Intelligence Index में 61 अंक हासिल किए। यह अच्छा नंबर है। यह मॉडल को एलीट ग्रुप में रखता है, बाज़ार के सबसे बेहतरीन मॉडलों से टक्कर लेता हुआ। लेकिन क्रेडिट कार्ड निकालने से पहले यह समझना ज़रूरी है कि यह 61 क्या मापता है, क्या नहीं मापता और इसका आपकी कमाई से क्या रिश्ता है।
Artificial Analysis Intelligence Index क्या है
Artificial Analysis एक स्वतंत्र कंपनी है जो AI मॉडलों को जितना हो सके एक जैसे तरीके से टेस्ट करती है। वे स्टैंडर्ड परीक्षाओं का एक सेट लेते हैं: तर्क, गणित, प्रोग्रामिंग, सामान्य ज्ञान, लंबे निर्देशों का पालन करने की क्षमता, टूल्स का इस्तेमाल। सब कुछ एक जैसी परिस्थितियों में चलाते हैं और 0 से 100 तक की एक ही स्कोर में जोड़ देते हैं।
Grok 4.6 ने 61 बनाए। पैमाना समझिए: आज के टॉप मॉडल 60 के आसपास रहते हैं। अच्छे और सस्ते मॉडल 40 से 50 के बीच। डेढ़ साल पुराने मॉडल, जो उस वक्त जादू लगते थे, 40 से नीचे रहते हैं।
तो हाँ, यह पहली कतार का नतीजा है। xAI सिर्फ दो साल में "Twitter का चैटबॉट" से एक असली प्रतिस्पर्धी बन गई है।
बस एक बात है जो स्क्रीनशॉट नहीं दिखाता।
स्कोर क्या छुपाता है
यह इंडेक्स एक औसत है। और औसत चीज़ें छुपाता है।
एक मॉडल गणित में शानदार हो सकता है और फ़ॉर्मेटिंग के निर्देश मानने में औसत। दूसरा टेक्स्ट लिखने में बेहतरीन और कोड में कमज़ोर हो सकता है। दोनों की फाइनल स्कोर एक जैसी हो सकती है।
Grok 4.6 के मामले में रिपोर्ट में दो चीज़ों का मेल ध्यान खींचता है: ऊँची स्कोर और तेज़ रफ्तार। यह तेज़ जवाब देता है और अच्छा सोचता है। यह दुर्लभ है। आम तौर पर मॉडल जवाब देने से पहले जितना ज़्यादा "सोचता" है, उतना ही धीमा और महंगा होता है।
लेकिन रिपोर्ट यह भी दिखाती है कि वही जवाब देने के लिए यह प्रतिस्पर्धियों से ज़्यादा टोकन खर्च करता है। बिज़नेस मालिक की भाषा में: महीने के आखिर का बिल प्रति मिलियन टोकन की कीमत से ज़्यादा हो सकता है, क्योंकि मॉडल एक ही काम निपटाने के लिए ज़्यादा बोलता है।
रैंकिंग परीक्षा मापती है। आपका बिज़नेस नतीजा मापता है।
यह फर्क किसी भी बेंचमार्क से ज़्यादा कीमती है।
रैंकिंग का सबसे अच्छा मॉडल आपके लिए सबसे बुरा विकल्प क्यों हो सकता है
एक असली किस्सा सुनाता हूँ, नाम बदले हुए हैं।
साल की शुरुआत में एक डेंटल क्लिनिक ने मुझसे संपर्क किया। वे WhatsApp मैसेज की छँटाई ऑटोमेट करना चाहते थे: पहचानना कि मैसेज अपॉइंटमेंट का है, इंश्योरेंस का सवाल है, कोटेशन है या शिकायत, और उसे सही जगह भेजना। वॉल्यूम: रोज़ाना करीब 400 मैसेज।
पार्टनर ने कोई रैंकिंग देखी थी और उसे "सबसे अच्छा" चाहिए था। उस वक्त का सबसे अच्छा मॉडल आउटपुट के प्रति मिलियन टोकन पर करीब 15 डॉलर पड़ता था।
हमने क्लिनिक के 200 असली मैसेज पर तीन मॉडल टेस्ट किए। नतीजा:
- टॉप मॉडल: 97% वर्गीकरण सही।
- मिड-रेंज मॉडल: 96% सही।
- सस्ता मॉडल: 94% सही।
पहले और दूसरे के बीच का फर्क 200 में से दो मैसेज का था। कीमत सात गुना ज़्यादा थी। हमने मिड-रेंज चुना। छोटे ऑपरेशन में हर महीने R$ 600 से ज़्यादा की बचत, बिना किसी महसूस होने वाले नुकसान के।
मरीज़ के मैसेज वर्गीकृत करना ओलंपियाड का गणित हल करने जैसा नहीं है। रैंकिंग दूसरा वाला टेस्ट करती है। आपको पहला वाला चाहिए।
रैंकिंग सच में कब मायने रखती है
मैं नहीं चाहता कि आप यहाँ से यह सोचकर जाएँ कि बेंचमार्क बेकार है। यह तीन स्थितियों में मायने रखता है:
जब काम सच में मुश्किल हो। क्रॉस-रेफरेंस वाली धाराओं के साथ कॉन्ट्रैक्ट का विश्लेषण, जटिल कोड, कई स्रोतों को मिलाकर बनने वाली रिपोर्ट। यहाँ 55 और 61 का फर्क असल में दिखता है, और ऐसी गलतियों में दिखता है जो महंगी पड़ती हैं।
जब आप एजेंट इस्तेमाल करने वाले हों। एजेंट वह सिस्टम है जो कई चरणों वाले काम अकेले करता है: स्प्रेडशीट खोलता है, API से पूछता है, फैसला लेता है, आगे बढ़ता है। चरण 2 की गलती उसके बाद की हर चीज़ खराब कर देती है। मज़बूत मॉडल बीच रास्ते में कम गलतियाँ करते हैं, और यह जमा होता जाता है।
जब पहले टेस्ट करने का कोई तरीका न हो। अगर अपने डेटा के साथ पायलट चलाना संभव नहीं है, तो रैंकिंग सबसे अच्छी प्रॉक्सी है। कंपनी के विज्ञापन से तो पक्का बेहतर।
इसके अलावा रैंकिंग सिर्फ जिज्ञासा है। अच्छी जिज्ञासा, लेकिन जिज्ञासा।
एक्सपर्ट बने बिना सही मॉडल कैसे चुनें
यह वह प्रक्रिया है जो मैं क्लाइंट्स के साथ इस्तेमाल करता हूँ, ज़रूरी बातों तक घटाई हुई:
- काम को सटीक तरीके से परिभाषित करें। "कस्टमर सर्विस में AI इस्तेमाल करना" कोई काम नहीं है। "मैसेज को 5 श्रेणियों में वर्गीकृत करना" काम है।
- 100 से 200 असली उदाहरण जुटाएँ। अपने डेटा से, इंटरनेट के उदाहरणों से नहीं। आपके ग्राहक के मैसेज, आपके दस्तावेज़, आपकी स्प्रेडशीट।
- अलग-अलग कीमत के 3 मॉडल टेस्ट करें। एक टॉप, एक मिड-रेंज, एक सस्ता।
- सटीकता और लागत को साथ रखकर मापें। अगर सस्ता 94% सही करता है और महंगा 97%, तो पूछिए: हर गलती की कीमत क्या है? कभी-कभी ज़्यादा देना सही है। ज़्यादातर बार नहीं।
- स्विच करना आसान रखें। ऐसी परत इस्तेमाल करें जो सब कुछ दोबारा लिखे बिना मॉडल बदलने दे। तीन महीने में रैंकिंग फिर बदलेगी और आप सिस्टम दोबारा नहीं बनाना चाहेंगे।
यह आखिरी बिंदु लंबे समय में सबसे ज़्यादा पैसा बचाता है। आज का Grok 4.6 कल का मिड-रेंज मॉडल है। मैंने यह हर उस मॉडल के साथ होते देखा है जो कभी "सबसे अच्छा" था।
तो Grok 4.6, फायदे का सौदा है?
मेरी ईमानदार राय: अगर आपके पास पहले से कुछ चल रहा है और आप तुलना करना चाहते हैं, तो टेस्ट करना सही है। जोश में आकर स्विच करना सही नहीं।
मॉडल सक्षम है, तेज़ है और xAI इंफ्रास्ट्रक्चर में भारी निवेश कर रही है। लेकिन यह एक युवा कंपनी है, दिशा में अचानक बदलावों के इतिहास वाली, और इसके आसपास का टूल्स इकोसिस्टम अभी प्रतिस्पर्धियों से छोटा है। जिस कंपनी का कामकाज हर दिन चलते सिस्टम पर टिका है, उसके लिए वेंडर की स्थिरता रैंकिंग की स्कोर जितनी ही मायने रखती है।
अगर आपका AI ऑपरेशन एक ऐसे नंबर पर टिका है जो हर हफ्ते बदलता है, तो समस्या मॉडल नहीं है। समस्या है चुनने के तरीके की कमी।
ठीक इसी तरह के फैसलों में मैं कंपनियों की मदद करता हूँ: असली डेटा से टेस्ट करना, जो मायने रखता है उसे मापना और ऐसा ऑटोमेशन बनाना जो रैंकिंग बदलने पर टूटे नहीं। अगर अपने केस के बारे में बात करना चाहें, मुझे यहाँ बेहतर जानिए।
LinkedIn के लिए सारांश
Grok 4.6 को AI रैंकिंग में 61 अंक मिले। तो क्या? हर हफ्ते WhatsApp पर मुझे रैंकिंग का एक स्क्रीनशॉट मिलता है, साथ में वही सवाल: "Diego, क्या स्विच करना चाहिए?" रैंकिंग परीक्षा मापती है। आपका बिज़नेस नतीजा मापता है। मैंने एक क्लिनिक के 200 असली मैसेज पर तीन मॉडल टेस्ट किए: टॉप मॉडल ने 97% सही किया, मिड-रेंज ने 96%, सस्ते ने 94%। सबसे महंगा मॉडल सिर्फ दो मैसेज के फर्क के लिए सात गुना महंगा था। अगर आपका AI ऑपरेशन एक ऐसे नंबर पर टिका है जो हर हफ्ते बदलता है, तो समस्या मॉडल नहीं है। समस्या है चुनने के तरीके की कमी। जानना चाहते हैं कि स्क्रीनशॉट की जगह असली डेटा से कैसे चुनें? मुझे मैसेज करें। #आर्टिफिशियलइंटेलिजेंस #ऑटोमेशन #बिज़नेसकेलिएAI #Grok #टेक्नोलॉजी