लोकल पर चलने वाले AI एजेंट: क्या ये सही सौदा है?

महीने के आखिर में आपने AI API का बिल खोला और झटका लगा। कोई बड़ा प्रोजेक्ट नहीं था। एक छोटा सा रोबोट था जो ईमेल पढ़ता है, उन्हें छाँटता है और जवाब देता है। वो दिन भर चलता है, और हर बार पढ़ने पर कुछ पैसे लगते हैं। 4 हज़ार ईमेल से गुणा कीजिए और झटका सामने आ जाता है। लोकल AI एजेंट यही समस्या हल करने की कोशिश कर रहे हैं: मॉडल को आपके अपने इन्फ्रास्ट्रक्चर के अंदर रखना, ताकि हर कॉल की लागत खत्म ही हो जाए।

Meta ने रिसर्च में Muse Glimmer पेश किया, 30 अरब पैरामीटर वाला मॉडल जो ठीक इसी के लिए बना है: एजेंट हर वक्त चालू, अपनी ही मशीन पर चलता हुआ। ये दुनिया का सबसे समझदार मॉडल नहीं है। ये वो मॉडल है जो बिना रुके काम करने के लिए सोचा गया है, और आपका बजट नहीं तोड़ता। ये फर्क आपके बिज़नेस के लिए किसी भी बेंचमार्क रैंकिंग से कहीं ज़्यादा मायने रखता है।

मॉडल आपकी मशीन पर चले तो क्या बदलता है

आज ज़्यादातर एजेंट ऐसे काम करते हैं: आपका सिस्टम टेक्स्ट OpenAI, Anthropic या Google के सर्वर पर भेजता है, इंतज़ार करता है, जवाब पाता है, टोकन के हिसाब से पैसे देता है। ये अच्छा चलता है। पर तीन तकलीफें हैं।

पहली है वेरिएबल लागत। इस पर आपका सीधा कंट्रोल नहीं है। वॉल्यूम दोगुना हुआ तो बिल दोगुना।

दूसरी है लेटेंसी। हर कॉल में आधा सेकंड से कुछ सेकंड तक लगते हैं। चैट के लिए ठीक है। पर जो एजेंट एक काम में 40 कदम उठाता है, उसके लिए ये आधे मिनट का इंतज़ार बन जाता है।

तीसरा है डेटा। अगर आप कॉन्ट्रैक्ट, मेडिकल रिकॉर्ड, ग्राहक की फाइल प्रोसेस करते हैं, तो लीगल वाला कोई न कोई पूछेगा कि ये टेक्स्ट जा कहाँ रहा है। और ये सही सवाल है।

लोकल चलाना तीनों पर एक साथ वार करता है। मॉडल आपकी मशीन पर रहता है, लागत फिक्स हार्डवेयर बन जाती है, जवाब तुरंत आता है और डेटा बिल्डिंग से बाहर नहीं जाता।

सबसे अच्छा मॉडल सबसे समझदार वाला नहीं है। वो है जिसे आप चालू छोड़ पाते हैं।

"30 अरब पैरामीटर" का मतलब, आसान भाषा में

पैरामीटर मोटे तौर पर मॉडल के दिमाग का आकार है। फ्रंटियर मॉडल, यानी बाज़ार के बड़े वाले, सैकड़ों अरब रखते हैं। वो डेटासेंटर में ही चलते हैं, बस।

30 अरब दूसरा स्तर है। क्वांटाइज़ेशन के साथ, जो मॉडल को दबाने की तकनीक है, एक 30B अच्छे GPU वाली मशीन पर चल जाता है। हम ऐसे हार्डवेयर की बात कर रहे हैं जो सेटअप के हिसाब से 15 से 25 हज़ार के बीच बैठता है। एक वर्कस्टेशन, पूरा रैक नहीं।

तुलना कीजिए: बड़े मॉडल की API पर महीने में 5 हज़ार टास्क करने वाला एजेंट आसानी से 800 से 2,500 प्रति माह ले लेता है। 12 महीने में मशीन का पैसा निकल गया। और अगले साल मशीन आपकी ही रहती है।

वॉल्यूम कम हो तो हिसाब पलट जाता है। महीने में 200 टास्क? API पर ही रहिए। हार्डवेयर खरीदकर खाली छोड़ने का कोई मतलब नहीं।

लोकल सचमुच कहाँ जीतता है

हर एजेंट को जीनियस होने की ज़रूरत नहीं। असली काम का बड़ा हिस्सा दोहराव वाला और साफ-साफ तय होता है। वहीं लोकल मॉडल चमकता है।

• ईमेल और WhatsApp की छँटाई: कोटेशन, शिकायत और स्पैम अलग करना। आसान काम जो हज़ारों बार चलता है।
• बार-बार आने वाले दस्तावेज़ पढ़ना: इनवॉइस, स्टैंडर्ड कॉन्ट्रैक्ट, रजिस्ट्रेशन फॉर्म। फॉर्मेट दोहराता है, मॉडल पैटर्न सीख लेता है।
• लगातार निगरानी: एजेंट जो स्टॉक, डेडलाइन, शीट देखता रहे और कुछ गड़बड़ हो तो बताए। ये 24 घंटे चलता है। API पर ये खून बहना है।
• सपोर्ट की पहली परत: इरादा समझता है, आपके डेटाबेस में ढूँढता है, बेसिक जवाब देता है। मामला उलझे तभी इंसान या बड़े मॉडल तक भेजता है।

ये आखिरी वाला डिज़ाइन आज मुझे सबसे समझदार लगता है। इसे कैस्केड रूटिंग कहते हैं। लोकल मॉडल सब कुछ लेता है। 80% खुद निपटा देता है। मुश्किल 20% वो API से बड़े मॉडल को भेज देता है। आप API का पैसा सिर्फ उसी पर देते हैं जो सचमुच मुश्किल है।

पिछले साल मैंने एक ई-कॉमर्स क्लाइंट में यही किया। मैसेज की छँटाई लोकल रहती थी, और सिर्फ गंभीर शिकायत या कीमत की मोलभाव वाली बात महँगे मॉडल तक जाती थी। API बिल लगभग 70% गिर गया। क्लाइंट को क्वालिटी में फर्क तक नहीं दिखा, क्योंकि मुश्किल हिस्सा अच्छे मॉडल के पास ही रहा।

लोकल कहाँ बुरी तरह हारता है

मैं ईमानदार रहूँगा, क्योंकि बहुत से उत्साही लोग लोकल को हर मर्ज़ की दवा बताकर बेच रहे हैं, और ऐसा है नहीं।

30B मॉडल लंबे तर्क में ज़्यादा गलती करता है। अगर काम में आठ जुड़े हुए चरण हैं और हर एक में फैसला लेना है, तो वो बड़े मॉडल से ज़्यादा भटकेगा। हमेशा नहीं। पर इतनी बार कि आपको वैलिडेशन रखना पड़ेगा।

क्रिएटिव राइटिंग और सेल्स कॉपी में भी वो कमज़ोर है। सही निकलता है, पर फीका निकलता है।

और एक छिपी लागत है: मशीन की देखभाल किसी को करनी पड़ेगी। अपडेट, बैकअप, और मंगलवार सुबह वो बैठ जाए तो क्या होगा। अगर आपके पास IT का कोई नहीं है, तो ये API की बचत से भारी पड़ता है। या तो देखभाल करने वाला रखिए, या मान लीजिए कि सिस्टम बंद रहने वाले दिन आएँगे।

मेरी पक्की राय: लोकल AI के बारे में पूछने वाली 90% छोटी और मझोली कंपनियों को अभी ये नहीं करना चाहिए। वॉल्यूम इसे सही नहीं ठहराता। API से शुरू कीजिए, तीन महीने असली लागत नापिए, और उसके बाद ही तय कीजिए। जो प्रोसेस चलने से पहले ही GPU खरीद लेता है, उसके पास आमतौर पर एक महँगी मशीन बचती है जो हीटर का काम करती है।

बिना पैसे खर्च किए कैसे टेस्ट करें

फैसला लेने से पहले आज़माया जा सकता है। छोटा सा तरीका:

1. एक उबाऊ और दोहराव वाला काम चुनिए। आपके दिन का सबसे बोरिंग वाला। छँटाई, वर्गीकरण, डेटा निकालना।
2. 30 दिन API पर चलाइए। नोट कीजिए कितनी कॉल हुईं, कितना खर्च हुआ, कितनी बार नतीजा गलत आया।
3. एक मुफ्त लोकल मॉडल इंस्टॉल कीजिए (Ollama Mac या Windows पर चलता है, बस इंस्टॉल कीजिए और इस्तेमाल कीजिए) और पिछले महीने वाले वही काम उसे दीजिए।
4. आमने-सामने तुलना कीजिए। सिर्फ सटीकता नहीं। रफ्तार देखिए और ये भी कि हर विकल्प ने इंसानी मेहनत कितनी बचाई।
5. आँकड़ों से तय कीजिए। अगर लोकल की सटीकता API के करीब है और वॉल्यूम ज़्यादा है, तो हिसाब बैठता है। अगर वो काफी ज़्यादा गलती करता है, API पर रहिए।

इस टेस्ट में एक महीना लगता है और खर्च लगभग शून्य है। ये LinkedIn पोस्ट देखकर फैसला लेने से हज़ार गुना बेहतर है।

ये अगले दो साल के बारे में क्या इशारा करता है

Muse Glimmer जैसे मॉडल एक दिशा दिखाते हैं: AI डेटासेंटर से उतरकर फैक्ट्री के फर्श तक आ रहा है। इसलिए नहीं कि वो बेवकूफ हो गया, बल्कि इसलिए कि वो इतना कुशल हो गया कि छोटी जगहों में समा जाए।

आपके लिए, यानी बिज़नेस के मालिक के लिए, काम की बात ये है: "कौन सा AI इस्तेमाल करें" को एक ही चुनाव मानना बंद कीजिए। ये मिश्रण होगा। वॉल्यूम के लिए छोटा लोकल मॉडल, मुश्किल के लिए बड़ा महँगा मॉडल। जैसे आप लोगों के साथ पहले से करते हैं: हर काम सबसे सीनियर कर्मचारी के पास नहीं जाता।

जो अभी ये व्यवस्था बना लेगा वो आगे निकलेगा। तकनीक की वजह से नहीं, बल्कि इसलिए कि वो अपनी प्रक्रिया को इतना समझ लेगा कि जान सके क्या वॉल्यूम है और क्या अपवाद। ये साफ समझ किसी भी मॉडल से ज़्यादा कीमती है।

अगर आपके यहाँ कोई दोहराव वाला काम अच्छे लोगों के घंटे खा रहा है और आप जानना चाहते हैं कि उसे ऑटोमेट किया जा सकता है या नहीं, तो मुझे बताइए क्या अटका है। मैं ईमानदार आकलन देता हूँ, तब भी जब जवाब होता है "इसमें AI की कोई ज़रूरत ही नहीं"।

मैंने एक क्लाइंट का AI API बिल खोला और झटका किसी बड़े प्रोजेक्ट से नहीं लगा। लगा एक छोटे से रोबोट से जो दिन भर ईमेल पढ़ता रहता है।

महीने में 4 हज़ार बार पढ़ना, हर बार कुछ पैसे। हिसाब लगाइए।

जिस हल की कोई बात नहीं करता, वो मॉडल बदलना नहीं है। वो काम बाँटना है: लोकल पर चलने वाला छोटा मॉडल दोहराव वाला सारा वॉल्यूम संभाले, और बड़ा महँगा मॉडल सिर्फ उसी में आए जो सचमुच मुश्किल है।

पिछले साल मैंने एक ई-कॉमर्स में यही किया। API बिल लगभग 70% गिर गया और क्लाइंट को क्वालिटी में कोई फर्क नहीं दिखा।

पर GPU खरीदने से पहले ईमानदार रहिए: अगर आपका वॉल्यूम कम है, API पर ही रहिए। मैंने 20 हज़ार की मशीन को महँगा हीटर बनते देखा है।

आपके यहाँ कोई दोहराव वाला काम अच्छे लोगों के घंटे खा रहा है? मुझे बताइए, मैं साफ बता दूँगा कि ऑटोमेट करना सही है या नहीं, तब भी जब जवाब हो "इसमें AI की कोई ज़रूरत ही नहीं"।

#आर्टिफिशियलइंटेलिजेंस #ऑटोमेशन #लागतप्रबंधन #डिजिटलट्रांसफॉर्मेशन